Zámek byl založen před vznikem města v roce 1501 Janem Černčickým z Kacova. Celý hradní areál byl postaven jako pevnostní čtverhran v pozdně gotickému slohu. Následující majitelé Pernštejnové přestavěli gotický hrad v jednoduchý renesanční zámek a z náměstí vytvořili první zámecké nádvoří. Další z majitelů Wolf ze Stubenberku začal s úpravami v duchu severské německé renesance. Změny se uskutečňovaly v několika etapách v letech 1558 až 1568. V roce 1824 byly realizovány návrhy pražského architekta J. F. Joendla.
Druhá polovina 19. století byla ve znamení rychlého chátrání. Zámek se po vymření přímé linie Dietrichsteinů dostal do rukou více dědiců, kteří se o něj nestarali.
V roce 1909 zámek získal Josef Bartoň, který na opravu a vybavení věnoval velké prostředky. Renovací byl pověřen vynikající brněnský architekt Dušan Jurkovič. Ten dokonale splnil hlavní požadavky – zachovat historický ráz a přitom vyhovět potřebám moderního bydlení.
V roce 1991 byl zámek vrácen v restituci rodině Bartoň – Dobenín.
Původní barokní zahrada, která byla mnohem rozsáhlejší než je zámecká zahrada dnes, v 19. století zpustla a prakticky zanikla. Zanikla i velká oranžerie.
Zámecká zahrada ve své nynější podobě je dílem architekta D. Jurkoviče ze začátku 20. století a nachází se na jiných plochách než zahrady původní. Pro úpravu okolí zámku byly vykoupeny pozemky před zámkem. Protože ale ve vlastním okolí zámku je relativně málo místa, park byl vytvořen přeměněnou dvora za severním traktem. Park je navržen v pravidelném slohu italské renesance. Znovu byly vybudovány terasy, které byly opatřeny bílým zábradlím. V parku jsou umístěny sochy miniaturních trpaslíků, které karikují jednotlivé měšťany. Braunovy sochy pocházejí z Benátek nad Jizerou.
Přístup ze zámku vyřešil Jurkovič krytým dřevěným přemostěním ve stylu lidové architektury moravskoslovenského pomezí. Cesta vede přímo k zajímavé kašně s chrličem vody. Na kdysi obranný val je přístup z horní zahrady.
Celý park působí malebným dojmem s mnoha krásnými průhledy na park, zámek i sochařskou výzdobu.
