Na místě nynějšího zámku předpokládáme stavbu původní tvrze někdy od poloviny 14. století. Prvním písemným pramenem je zápis učiněný do desk zemských až roku 1465. Ten zaznamenává dělení pozůstalosti Ctibora ze Zásmuk, jinak z Vlčetína, mezi jeho dva syny Petra a Václava. Snad prodejem přešla posléze tvrz do držení Diviše Boubínského z Újezda, který ji někdy kolem roku 1530 prodal rytířské rodině Kábů z Rybňan.

Z rodiny Kábů byl bezesporu nejzajímavější osobností rytíř Jan, schopný hospodář, aktivní stavebník, věrný habsburský služebník, který zastával prestižní úřad výběrčího posudného v kraji Bechyňském. Jeho nedlouhý život byl tragicky poznamenán morovou epidemií, která mu v roce 1557 vzala pět dětí. Snad právě tato smutná událost byla hlavním motivem ke stavbě prosté zámecké kaple na návrší nad rybníkem (dnešní kostelík Nejsv. Trojice.) Po Janově smrti dědili Lhotu jeho tři synové Bohuchval, Zikmund a Jiří, kteří však nejprve museli vyplatit nejstaršího Jaroslava. Zikmund po čtyřech letech zemřel a rodiny dvou zbylých bratrů Bohuchvala a Jiřího žily na Lhotě ve sváru. Zámek jim přestal být klidným domovem a změnil se v jeviště šarvátek, hádek a osobních výpadů. Snad některá z  rozmíšek uchovaná v paměti náhodných diváků dala po čase povstat lidové etymologické pověsti o bezbožné zámecké paní odnesené ďáblem, jejíž tragický konec připomínala krvavá skvrna pod oknem na tehdejší sněhobílé fasádě. Tato skvrna měla být příčinou pozdějšího červeného nátěru zámeckých omítek. Lidové vyprávění se stalo hlavním motivem napínavé prózy deštenského faráře Bedřicha Kamarýta.

Roku 1597 Bohuchvalův syn Jan odkoupil díl svého strýce Jiřího a takto sjednocené panství obratem prodal Vilému Rutovi z Dírné. Rutové vlastnící Dírnou od konce 14. století, přikoupili roku 1595 od Rožmberků Deštnou. Lhota nacházející se uprostřed mezi nimi všechna tři panství propojila a od Deštné se již nikdy neoddělila. Poslední z Rutů, Bohuslav, jako utrakvista musel po Bílé Hoře opustit zemi.


Roku 1621 byla Červená Lhota obsazena Antoniem Brucciem, rytmistrem císařského vojska, italským šlechticem, který, jsa ve službách Slavatů, zjišťoval stav konfiskací na Táborsku a právě od roku 1621 působil jako velitel městské posádky v Jindřichově Hradci. Horlivý katolík a velký mariánský ctitel Bruccio se ukázal být i dobrým diplomatem a hospodářem. Úspěšně bránil region proti poválečnému rabování, hospodářskou prosperitu Deštné posílil velkorysou výstavbou lázní, z nichž se do dnešních dob dochovala pouze kaple sv. Jana Křtitele, vybudovaná přímo nad zázračným minerálním pramenem. Válkou vylidněné panství se podařilo v krátké době opět zabydlet a ke všeobecnému urovnání poměrů přispěl Brucciem iniciovaný všeobecný slib věrnosti poddaných katolické víře. Roku 1639 zemřel Bruccio jako bezdětek, odkázav velké dary deštenskému kostelu sv. Ottona a hradeckému kostelu sv. Jana Křtitele, v němž byl také pochován. Smrtí tohoto majitele ztratila Lhota rezidenční funkci a všem ostatním byla spíše jen příležitostným bytem.

Po Brucciově smrti připadla Červená Lhota královské komoře, od níž ji roku 1641 koupil významný šlechtic Vilém Slavata z Chlumu a Košumberka. Jeho průbojnost, diplomatický takt, vzdělanost a veliká inteligence mu otevřely záhy cestu k vysoké úřední kariéře. Z královského maršálka se přes karlštejnského purkrabího a prezidenta České komory stal nejvyšším hofmistrem císařského dvora a záhy dokonce nejvyšším kancléřem Království českého, v kterémžto úřadě přes několik rezignací zůstal až do smrti. Sňatkem s Lucií Otýlií z Hradce vyženil jedno z největších pozemkových dominií v tehdejších Čechách – panství hradecké, k němu přikoupená Červená Lhota plnila funkci příměstského letohrádku, místa zábav, slavností a odpočinku zejména ženských příslušnic slavatovského rodu. Již generace Vilémových vnuků se nedočkala mužských potomků. Červená Lhota sňatkem druhorozené dcery Ferdinanda Viléma, nejstaršího z Vilémových vnuků, Marie Markéty přešla roku 1693 do držení Windischgrätzů.


Bedřich Arnošt Windischgrätz a jeho syn Leopold zastaralým způsoben hospodaření přivedli panství do velkých dluhů. Posléze poručník jejich nezletilého nástupce Josefa panství navrhl k prodeji, kterým je roku 1755 získal rod svobodných pánů z Gudenusu. František de Paula svobodný pán z Gudenusu záhy přikročil k četným stavebním akcím. Opraveny byly nejen kaple lázní v Deštné, ale i tamní kostel svatého Ottona, který se v této době dočkal nákladného velkolepého vybavení dochovaného dosud. Další stavební aktivity byly roku 1774 násilně přerušeny požárem Červené Lhoty, při němž shořely patrně všechny hospodářské budovy.

Roku 1776 již vítala Lhota nového majitele, byl jím baron Ignác Stillfried, pokrokový šlechtic z pruského Slezska, který záhy prodal deštenské lázně do soukromých rukou, a tím definitivně pohřbil jejich někdejší aristokratický lesk. Do dějin zámku se zapsal především jako hostitel a mecenáš stárnoucího hudebního skladatele, spolutvůrce německé komické opery, Karla Ditterse z Dittersdorfu, jehož životní pouť se po čtyřletém pobytu končí právě na zdejším panství. Ignácův syn Mořic prodal panství roku 1820 Jakubu Veithovi. Měl–li tento podnikavý průmyslník a mecenáš českých výtvarníků se Lhotou nějaké plány, tak z nich patrně nestihl nic realizovat. Jeho dcera Terezie roku 1835 zámek opět prodala, tentokráte do knížecích rukou Heinricha Eduarda Schönburg-Hartensteina.


Heinrich Eduard Schönburg-Hartenstein, major rakouské armády, diplomat, c. k. komoří, se usadil roku 1823 na nově zakoupeném panství Černovice, k němuž roku 1835 přikoupil Červenou Lhotu. Centrem panství byly však Černovice, které se Heinrichovi staly hned po Vídni druhým domovem. Je proto s podivem, že je roku 1872 prodal a pro svého syna Josefa Alexandra uchoval z jihočeského majetku jen Červenou Lhotu. Josef Alexandr Schönburg-Hartenstein, c. k. korunní rada, byl rovněž činný v diplomatických službách. Stejnou cestou kráčel i jeho nejmladší syn a další dědic Červené Lhoty princ Johann, c. k. komoří, nositel řádu zlatého rouna, velkokříže Leopoldova řádu, řádu Železné koruny, velkokříže Maltézského řádu a Kristova řádu. Upozornil na sebe především ve funkci mimořádného zplnomocněného c. k. vyslance u papežské stolice ve Vatikánu. První světová válka a následný rozpad tolik milované monarchie způsobily, že se Johann stáhl do ústraní svého nejmilejšího sídla, Červené Lhoty, maje dost času k jeho zvelebování a vylepšování. V roce 1937 ulehl do zdejší nově vybudované hrobky, a byl tak ušetřen pohnutých událostí nové války, která se stala smutnou tečkou za celou šlechtickou historií.Po převzetí zámku Československým státem zde v roce 1946 nalezla místo dětská ozdravovna a od roku 1949 je zpřístupněn veřejnosti. Zámek byl hojně využíván filmaři k natáčení pohádek.


Dnešní stavba ve svém jádru uchovala tři původně samostatné gotické budovy, které tvořily panské sídlo předpokládané zde nejpozději koncem 14. století. Autentické gotické konstrukce jsou dodnes dobře zachované ve sklepních prostorách dvou čtvercových budov přiléhajících z obou stran k průjezdu. Z pohledu starého vstupu, který vedl z opačné strany, než je tomu dnes, po později odtěžené skalní šíji, se jeví dvě čtvercové budovy jako obytné chráněné od severu příkrou skalkou a řečištěm někdejšího potoka. Gotický objem dochovaný v jihozápadním nároží, v místě, kde je v přízemí prodejna suvenýrů a v prvním patře pánská ložnice, byl snad vstupní bránou.


V renesanční zámek se stará tvrz proměnila v době rytířů Kábů z Rybňan tedy po roce 1530. V třetí čtvrtině 16. století měl zámek v podstatě dnešní dispozici čtyř křídel obklopujících nevelké pravidelné nádvoří. Není bez zajímavosti, že náhodně dochovaný záznam z roku 1555 zmiňuje v souvislosti se zámeckou novostavbou italského stavitele nazývaného Hons Vlach. Otázku po stáří Zámeckého rybníka neumíme uspokojivě odpovědět, je však pravděpodobné, že vznikl spolu se zámkem v době, kdy se odtěžila skalní šíje na jihozápadní straně, a byl tedy od počátku součástí promyšlené renesanční krajinné koncepce.


Radikální barokní přestavba, kterou po roce 1641 nechali provést Slavatové,přinesla nové řešení interiérových vztahů, které je s drobnými změnami dochováno do současnosti. Většina kleneb a štukatur interiérů prvního patra pochází právě z této doby. Nejimpozantnějším prostorem byl tehdy bezpochyby velký reprezentační sál, který zaujímal celou rozlohu východního křídla. Jeho výzdobu provedli italští mistři Cometta a Tencalla. Z praktických prostorových důvodů byl sál později předělen a zbytky původní výzdoby se dochovaly pouze v dnešní jídelně.

Venkovský zámek Červený Dvůr stojí na místě původního rožmberského letohrádku

Poslední majitelé, knížata Schönburg-Hartenstein, drželi Červenou Lhotu plných 110 let. Během této doby se zámek dočkal dvou výrazných přestaveb, které především zcela odlišně řešily vnější fasády budovy. V druhé polovině 19. století proběhla úprava v pseudogotickém duchu. Současnou v podstatě „neoneorenesanční“ podobu získal zámek až během přestavby probíhající mezi léty 1901-10 podle projektů významného vídeňského architekta Humberta Walchera z Moltheimu. Tato citlivá přestavba vycházela z promyšlené historické interpretace stavby a byla vedena v duchu poučeném rozvíjející se památkovou péčí. Musela však dostát i požadavkům na zajištění standartu bydlení počátku 20. století a zvětšení užitné plochy, proto bylo přistavěno podkroví, a tím zaznamenána vlastně jedna z prvních půdních vestaveb.