Zámek v Horažďovicích byl postaven na místě gotické tvrze či hrádku, kterou postavili ve 13. století Bavorové ze Strakonic. Horažďovice byly roku 1292 povýšeny na město králem Václavem II.  Z původní tvrze se dochovalo pouze sklepení vytesané do skály a zbytky okrouhlé věže. V Horažďovicích při obléhání hradu a města roku 1307 zemřel nástupce Přemyslovců na českém trůnu Rudolf Habsburský, zvaný král Kaše.

V roce 1483 získal panství rod Švihovských z Rýzmberka. Za jejich vlády došlo k přestavbě gotického hrádku na renesanční zámek. Z této přestavby se nám zachoval malý vnitřní dvůr s arkádami a freskovou výzdobou a dvoupatrová věž zámku.


Za Půty Švihovského roku 1503 byl také zřízen vodovod z Práchně, který sloužil až do roku 1932. Po bitvě na Bílé hoře roku 1620 bylo Ferdinandu Karlovi Švihovskému panství zkonfiskováno a roku 1622 je koupil Adam ze Šternberka. Šternberkové v letech 1681–1692 přestavěli zámek v barokním stylu podle návrhů italského stavitele Solominiho. Z této druhé etapy přestavby se dochoval portál hlavního vchodu s letopočtem 1681.


Raně barokní je velký sál s freskovou výzdobou, byly zazděny arkády na nádvoří, vystavěna zámecká kaple a hospodářské budovy. Malba v hlavním sále představuje bitvu u Vyšehradu, vítězství husitů nad Zikmundem v roce 1420. V roce 1721 přešel zámek do majetku Mansfeldů, za nichž je doložena existence zámecké kaple, která byla umístěna v největším sále. Kapli zdobí na klenbě freska s námětem Uctívání sv. Kříže.


Horažďovický zámek je komplex patrových budov a budov se zvýšeným přízemím kolem pravoúhlého nádvoří, s nízkou hranolovou věží. Před věží je malý dvůr s renesančními arkádami. V zámecké kapli je dodnes zachována původně raně gotická hradní věž - válcový donjon ze 13. století.


V bývalém parkánu severně a západně od zámku byla založena zahrada se šestibokým glorietem ohražená zdí.Od roku 1834 vlastnili panství hrabata Kinští z Vchynic a Tetova.Ti už žádné velké stavební úpravy neprováděli a po válce v roce 1945 jim bylo panství zkonfiskováno.