Původní hrad byl založen na ostrohu nad řekou Blanicí kolem roku 1300 spolu s tržní osadou. Hrad patrně tvořila dnešní válcová věž s palácem a prvně je doložen roku 1318 v držení Hynka z Vlašimi. Hrad byl rozšiřován po roce 1363, kdy ho koupil Michal, purkrabí na Svojanově. Podobu hradu zřejmě ovlivnil jeho bratr Jan Očko z Vlašimi, druhý pražský arcibiskup, i Očkův synovec arcibiskup Jan z Jenštejna, kteří tu pobývali. Hrad vynikal téměř čtvercovým půdorysem se dvěma okrouhlými věžemi a obsahoval kapli sv. Otýlie.


Husitské války přečkal hrad bez většího poškození a Jan z Chotěmic tu hostil 11. listopadu 1437 císaře Zikmunda. Za bohatého Mikuláše Trčky z Lípy dorostlo po roce 1442 hradní jádro téměř dnešní výšky a bylo zbudováno dělostřelecké opevnění s dochovanou severovýchodní baštou. Úpravy probíhaly i ve 20. letech 16. století a za Trčků vznikly zřejmě i pozdně gotické arkády.


Zlom přišel s koncem 16. století, kdy Jan Vostrovec z Kralovic radikálně přestavuje dožívající hrad na honosný manýristický zámek, a to až do konfiskace roku 1621. Obytná křídla dostala sdružená okna a nově se budovalo jižní křídlo. Interiéry získaly štukovou výzdobu, dochovanou ve dvou podlažích věže. Nádvorní fasády byly zdobeny sgrafity a věž doplněna osmibokou nástavbou. Po roce 1600 vznikla unikátní schodišťová lodžie, která souvisela s architektem Giovannim Mariou Filippim.


Dochované barokní úpravy vznikly především kolem poloviny 18. století, kdy Marie Josefa z Trautsonu s manželem Karlem Josefem z Auerspergu zřídili např. „malovaný sál“ a roku 1771 kapli sv. Vincence ve věži. Po roce 1775 se měnila obora u zámku na sentimentální park, jehož hlavním iniciátorem byl zřejmě syn Vilém I. Ten dokončil v 90. letech klasicistní úpravy interiérů zámku a jako svobodný zednář pokračoval v budování parku.


Konečnou podobu dal zámku v polovině 19. století Karel Vilém (Carlos) Auersperg, který přistavěl jihovýchodní pozdně klasicistní křídlo a jihozápadní trakt. V historizujícím duchu upravil interiéry, z nichž se nejlépe dochovala tzv. Carlosova ložnice. V roce 1846 upravil vstup do nádvoří a zřídil Vlašimskou bránu. Poslední významnou úpravou zámku bylo odstranění části přístavby západního křídla po požáru v srpnu 1992.