Mocný rod, který chtěl svého předního člena vyprosit z vězení, dal v dubnu 1316 několik svých členů králi jako rukojmí a vydal mu dočasně i některé své hrady, jež vlastnil nebo držel v zástavě, a to na Moravě Krumlov a Vranov nad Dyjí. Jindřich z Lipé získal znovu královu přízeň, stal se moravským zemským hejtmanem a zastával jako prvý úřad nejvyššího maršálka Království českého, který pak byl v rodě dědičný. V r. 1369 prodal Jindřich z Lipé moravskokrumlovské zboží včetně hradu a vsí Rakšic a Lesonic za 8000 hřiven pánům z Kravař. Jako náhradu si pak v r. 1379 koupil od Drslava ze Šelmberka hrad Templštejn. Kravařové přebudovali hrad v honosné sídlo. Byla vystavěna velká hranolová věž a rozšířen hradní palác. Hrad byl zpevněn nejen předhradím, ale i vodními příkopy na západní a východní straně. Na počátku husitských válek se pokoušeli Beneš z Kravař († 1423) a jeho nástupce Jan z Kravař o politické manévrování mezi husity a králem Zikmundem a jeho zetěm Albrechtem, avšak husité se zmocnili města, umístili zde svou posádku a učinili z Moravského Krumlova opěrný bod k výpravě do Rakous a Uher. Důsledkem bylo i počeštění města. Když Janem z Kravař ve 30. Letech 15. Století krumlovská větev pánů z Kravař vymřela, zdědil krumlovské zboží Jan z Cimburka, který je záhy prodal pánům z Lipé; v r. 1447 byl tento prodej potvrzen zápisem do zemských desek.


V rodě pánů z Lipé zůstalo pak krumlovské panství až do pobělohorské konfiskace. Za Jindřicha z Lipé († 1469) připadly k panství Ivančice, do té doby královské město, jež dostala věnem od svého otce Jindřichova choť Barbora, nejmladší dcera krále Jiřího Poděbradského. Jindřich však svého tchána na sklonku života zradil.


Moravskokrumlovský hrad, který byl v každém století upravován, přestavěl v druhé polovině 16. století Jindřich z Lipé v renesanční zámek. Hlavní stavební práce proběhly v l. 1557 – 1562, snad podle návrhu italského architekta Leonarda Garda da Bisono, jehož náhrobek s vytesanou podobiznou byl nalezen v krumlovském farním kostele. Podle textu na náhrobku zemřel architekt Leonardo Gardo v Krumlově dne 26. prosince 1574 ve věku 46 let.

Byla vybudována čtyřboká renesanční stavba s dvorem uprostřed, jíž byl vlastně někdejší hrad obestavěn. Jeho hlavní jádro tvoří dnes jižní křídlo zámku. Na jižní straně vjezdu se vypíná hranolová hlavní zámecká věž o půdorysu 9 x 9 m. Věž tvoří jihozápadní roh hlavního zámeckého nádvoří. Vlastní dvůr je zdoben na třech stranách, mimo východní, ve třech podlažích charakteristickými arkádami, zvedajícími se až do výše 16,5 m. Reliéfní výzdoba na pilířích a na kartuších sleduje střídání toskánského, jónského a korintského slohu podle jednotlivých podlaží podobně je uvedeno datum dokončení stavby, rok 1562. Druhé poschodí je ozdobeno erby pánů z Lipé a rodů s nimi spřízněných.

Zcela ojedinělý u nás je nástup do prvního patra zvláštním schodišťovým arkádovým dvorem, přístupným ze severozápadu hlavního nádvoří. Tato zvláštnost souvisí s janovskou palácovou architekturou, kterou majitel zámku poznal při své návštěvě v Janově v r. 1551. S rytířským sálem sousedí zámecká kaple, která byla asi stavěna jako poslední součást celkového komplexu. Mnohé ze zámeckých sálů prozrazují dodnes své specifické určení.


V 90. letech 16. Století byla na severní straně postavena jednoposchoďová budova se slunečními hodinami a s letopočtem 1592 – 1593. Má bohatý plastický renesanční portál s rustikálními motivy. Tím Jan z Lipé († 1596) dokončil výstavbu zámku. Současně dovolil, aby se na jeho zboží, zvláště v Ivančicích, rozšířila a významně působila jednota bratrská.

V r. 1536 byl do Moravského Krumlova povolán německý lékař, chemik a přírodovědec Paracelsus (1493 – 1541), basilejský univerzitní profesor lékařství, aby léčil Jana z Lipé, churavějícího patrně podagrou. Paracelsus, vlastním jménem Philippus Areolus Theophrastus Bombastus von Hohenheim, proslul v dějinách lékařství především jako jeden ze zakladatelů lékařské chemie. Také v Moravském Krumlově, kde mu k bydlení byla vyhlédnuta hlavní zámecká věž, pokračoval ve spisovatelské a badatelské činnosti. Vytvořil zde třetí svazek svého nejvýznamnějšího díla Die grosse Wundesarznei, dále počátek dalšího díla Astroligia magna a německé znění spisů Defensiones a Labyrinthus. V Moravském Krumlově pobyl téměř dva roky. Když nebyl s to zastavit stále se zhoršující chorobu svého klienta, jednoho dne, obávaje se asi trestu, potají zmizel. Jeho pobyt připomíná tzv. Paracelsova síň na zámku. V červenci 1571 zavítal do Moravského Krumlova jiný slovutný lékař, aby zde uplatnil své znalosti, i když ne nadlouho. Byl jím Johannes Crato z Kraftheimu (1519 – 1585), který léčil Čeňka z Lipé. Crato byl osobním lékařem císařů Ferdinanda I., Maxmiliána II. a později ještě Rudolfa II. Z výhnačných moravských šlechticů léčil například též Jana Šemberu z Boskovic. Kromě těchto učených mužů zavítal na Moravský Krumlov v r. 1458 i král Jiří z Poděbrad a v r. 1537 královna Anna, choť Ferdinanda I.

Syn Jana z Lipé Pertold Bohobud byl po otcově smrti vychováván svými šlechtickými poručníky. Z politických dějin je velmi známá bojovná a posléze vítězná snaha katolické strany zbavit Karla staršího ze Žerotína tohoto poručnictví. Když se Pertold Bohobud ujal v r. 1606 správy krumlovského panství, žil tak nákladně, že je zadlužil. Z finančních potíží se chtěl pomoci zvýšeným útlakem poddaných V Krumlově choval na 50 ušlechtilých arabských a tureckých koní a exotická zvířata, měl tu krytou jízdárnu i velkou oboru k lovu, v níž chtěl uspořádat pro Fridricha Falckého r. 1620 štvanici na medvěda, buvola a vlky. Na stavovském povstání z l. 1618 - 1620 se Petold Bohobud činně podílel zejména jako moravský direktor. Za to byl odsouzen ke ztráteě hrdla a pravé ruky, k odnětí dědičného rodového úřadu nejvyššího maršálka Království českého a všech statků. Tělesné tresty mu císař po určité době prominul. Pertold Bohobud odešel do exilu a sonal v nuzných poměrech v uherské Skalici. Jeho synem Čeňkem rod pánů z Lipé v r. 1682 ve Slezsku vymřel.

Rozsáhlé a hodnotné krumlovské panství postoupil císař v r. 1623 Gundakaru z Lichtenštejna z valtické větve rodu. V zápise do zemských desk v r. 1625 se uváděly jako součást panství zámek Moravský Krumlov, pustý zámek Templštejn a řada vesnic.

Zámek velmi poškodil švédský vpád v r. 1645, takže musel být několikrát opravován. V 18. století byly na zámku provedy poslední pronikavé úpravy, a to jak zámeckého areálu, ak i jeho okolí. Stalo se tak z podnětu kněžny Marie Eleonory Lichtenštejnové, rozené hraběnky Öttingen - Spielbergové v druhé polovině století. Podle návrhu lichtenštejnského architekta Cannevala byla nově přebudována zámecká kaple. V r. 1772 byla snížena dnešní menší věž se zámeckými hodinami. Současně byl zasypán zámecký příkop, překlenuta cesta k pivovaru a západně od zámku založen anglický park, podstatně zvětšený v r. 1910. Z kněžniny iniciativy byla také při krumlovském farním kostele vybudována rodinná hrobka krumlovské větve Lichtenštejnů.

Počínaje knížetem Karlem Josefem z Lichtenštejna († 1789) se stalo krumlovské panství, k němuž byly v r. 1750 ještě přikoupeny od tišnovského kláštera Vémyslice, sídlem mladší větve rodu. V r. 1908 tato větev Rudolfem z Lichtenštejna po meči vymřela a velkostatek získal spolu s branišovským statkem, přikoupeným v r. 1807, příbuzný rod Kinských, kteří jej i se zámkem vlastnili až do r. 1945.