Vimperský hrad byl založen kolem poloviny 13. století nejspíše králem Přemyslem Otakarem II. jako strážní pevnost nad prastarou stezkou vedoucí z Bavorska do Čech. Počátkem 60. let 13. století jej král železný a zlatý propůjčuje v léno rodu Janoviců. V této době je hrad pevností s obytnou věží, palácem a obvodovou hradbou.


Janovicové spravují panství nejpozději do roku 1370, kdy z neznámých důvodů propadá jejich majetek královské koruně. Po několika letech, kdy je hrad zástavním majetkem jednoho pražského měšťana, se na delší dobu ocitá v rukou Kaplířů ze Sulevic. Do 15. století pak vstupuje jako rozsáhlý hrad s dvojicí vysokých věží, rozvinutým opevněním a několika paláci.


V neklidném 15. století Kaplíři ze Sulevic reagují dalšími opevňovacími pracemi na rozvoj dělostřelby – vzniká předsunuté opevnění Haselburg a hrad je spojen s nově opevněným městem v jeden dobře hájitelný celek.


Přes Malovce z Chýnova se v 16. století dostává do rukou mocných Rožmberků. Nejspíše již v průběhu tohoto století je hrad postupně přestavován v pohodlný zámek a někdy na přelomu 16. a 17. století je do jeho předpolí postaven renesanční Dolní zámek ve tvaru písmenu „U“.

Haselburg je předsunuté opevnění vimperského hradu

S jistotou víme, že od počátku 17. století kupují panství Novohradští z Kolovrat a proměňují zámek ve své rodové sídlo. Otec Volf s manželkou Juditou, rozenou ze Šternberka, a jejich syn Jáchym stojí jako stavebníci za rozsáhlými renesančními úpravami Horního i Dolního zámku. V jejich rukou se zámek proměňuje v reprezentativní sídlo s výjimečnou uměleckou výzdobou. Rozsáhlá stavební činnost Novohradských z Kolovrat vede k zadlužení a nakonec i ke ztrátě majetku.


Přes rod Eggenbergů se od roku 1719 zámek ocitá mezi majetky Schwarzenbergů. Ti během 18. století přestavují nejednu zámeckou budovu do barokní podoby. Poslední rozsáhlá rekonstrukce je vynucena požárem způsobeným úderem blesku 20. července 1857, kdy vyhoří drtivá většina Horního hradu. V té době však již zámek není užíván jako reprezentativní šlechtické sídlo, ale v prvé řadě jako centrum správy rozsáhlého panství a Schwarzenberského hospodaření v šumavských lesích. Během období první republiky zámek šlechtický rod Schwarzenbergů pronajímá Československé armádě a po válce v důsledku „lex Schwarzenberg“ rodina o zámek přichází.


Kanceláře správy velkostatku se stávají kancelářemi Jihočeských státních lesů a od roku 1961 část zámku využívá ještě městské muzeum. Režim před rokem 1989 zámku příliš neškodí, ale i tak započne dlouhotrvající období nedostatečné údržby objektu a posun v jeho vnímání od památky k utilitární stavbě a pouhé městské kulise. Toto období paradoxně vrcholí až po revoluci, kdy se zámku město Vimperk zbavuje, odtrhává z majetkového celku předsunuté opevnění Haselburg a zámek s muzeem se převodem ocitá ve správě NP a CHKO Šumava. Tato instituce sice plánuje několik rozsáhlých a necitlivých úprav, ze všech však nakonec sejde a objekt nadále chátrá.


V roce 2010 je zámek prohlášen národní kulturní památkou a na pokraji havarijního stavu jej v roce 2015 přebírá Národní památkový ústav. Ten rozšiřuje zpřístupnění zámku, navazuje na tradici muzea, nyní pod názvem Muzeum Vimperska, a započíná s postupnou památkovou obnovou areálu.