Předpokládá se, že název Červeného Dvora nebyl odvozen od barvy krytiny střechy (jako tomu bylo v případě zámku Červená Lhota), ale zkomolením německé podoby slovesa klučit, mýtit - dříve "rothen", dnes "roden". Tzv. nový chvalšinský dvůr vznikl na konci 16. století zřejmě na vymýceném místě.
Stopy renesančních sgrafit z tohoto období jsou dodnes patrné ve spodní vrstvě omítky hlavního traktu zámecké budovy. Kněžna Marie Ernetina Eggenberková přestavěla prostý letohrádek roku 1682 na barokní zámek.Obdélná proporčně vyvážená budova s trojúhelníkovým tympanonem ve štítu průčelí byla rozšířena nižším severním křídlem.
Roku 1736 byl vybudován vodovod pro vodotrysky v zámecké zahradě. V letech 1748 - 1749 byla postavena salla terrena (umělá jeskyně), kterou vyzdobil malíř Josef Lederer (autor malířské výzdoby Maškarního sálu českokrumlovského zámku). Zámeckou kapli vymaloval malíř Schopper. Na výzdobě zámku se v té době podíleli také malíři Aneis, Putz. Tzv. čínský sál s rokokovými nástěnnými malbami z roku 1756 je dílem malíře Františka Jakuba Prokyše (mimo jiné též autora malířské výzdoby interiéru letohrádku Bellarie v českokrumlovské zámecké zahradě).
Detail výzdoby zámku
Do současné podoby byl zámek přestavěn knížetem Josefem Adamem Schwarzenberkem v letech 1756-1760. Jednopatrová stavba obdélného půdorysu s rizalitem ve střední části a mansardovou střechou doznala dalších úprav přístavbou jižního křídla v roce 1780, úpravy inicioval další ze Schwarzenberků – Jan Nepomuk. Ve stejné době dostal svou současnou podobu vstupní „čestný dvůr“, obklopený hospodářskými budovami. Poslední zásadní úpravou prošla budova zámku před polovinou 19. Století. Na podnět knížete Jana Adolfa II. byla roku 1846 podle plánů schwarzenberského dvorního stavitele Damasia Deworezského přistavěna k východnímu průčelí zámku terasa, která měla z dobového pohledu velmi progresivní, technicistní konstrukci.
Zámek Červený Dvůr a především zámecký park zažily svůj druhý vrchol za panování knížete Josefa Adolfa II. ze Schwarzenberku ( 1833 - 1888 ). Podnětem k tomu byly cesty knížete do Anglie, kde se kromě architektury zajímal o tzv. anglické parky. Kromě romantické úpravy zahradní fasády (zřízení verandy) se poté věnoval především přeměně pravidelné francouzské zahrady v rozsáhlý přírodně krajinářský park. Posledním majitelem byl JUDr. Adolf, kníže ze Schwarzenberku (1890 - 1950), jemuž byl majetek r. 1940 zkonfiskován gestapem. V květnu 1945 byl vzat pod českou národní správu, zvláštním zákonem r. 1947 převeden do zemského vlastnictví a po zrušení zemského zřízení se od ledna 1950 stal majetkem československého státu.
Až do šedesátých let 20. století byla pod středem terasy umístěna přímo ve dlažbě velká exteriérová šachovnice, využívaná obyvateli a hosty zámku především v období letních prázdnin.
V objektu zámku je dnes Psychiatrická léčebna, jež se specializuje na léčbu alkoholismu a drogových závislostí. Zámecký park je v současnosti přístupný veřejnosti a po předchozí domluvě s vedením léčebny je možno navštívit i interiéry zámku.