Roku 1426 byl hrad a město dobit vojsky Jana Roháče z Dubé. Lipá poté slouží husitským vojskům jako nejsevernější základna k jejich výpadům do Lužice. Správy hradu a města se ujímají husitští hejtmani. Na sklonku husitských válek hrad opanoval Zikmund Děčínský z Vartenberka, následně vypukl další konflikt, který vstoupil do dějin jako lužicko-vartenberská válka, během níž byl hrad s městem roku 1444 obsazen, tentokrát vojskem lužického Šestiměstí a poté předán Jindřichovi Berkovi z Dubé.
V 16. století byl hrad přestavěn na zámek. Roku 1502 dochází k dělení Berkovského majetku na čtyři díly. Město Lipá i hrad jsou rozděleny na čtvrtiny, část tohoto majetku postupně získává rod Vartenberků. V 16. století tedy na hradě sídlí dva rody, a tak tomu je až do roku 1591, kdy paní Kunhuta Berkovna skupuje druhou polovinu hradu. Posledním z Berků, který na hradě sídlil, byl pan Adam Berka, vnuk paní Kunhuty. Umírá roku 1607. Zámek v Lipé se nakrátko dostává do držení saského rodu Salhauzenů. Těm je však majetek roku 1620 zabaven pro účast na stavovském povstání.
Po bitvě na Bílé hoře zámek a město skupuje jako konfiskáty vojevůdce Albrecht z Valdštejna, ten přesouvá správu panství na Nový Zámek v nedalekých Zahrádkách. Hrad Lipý přestává být sídlem šlechty a pomalu chátrá, ale ještě roku 1778, při manévrech „bramborové války“, zde poobědval císař Josef II. se svými generály Laudonem a Lascym, tím však slavná historie hradu Lipý končí.
V roce 1820 vypukl ve městě ničivý požár, který zachvátil i staré panské sídlo. V 19. století je chátrající areál hradu pronajímán a poté přestaven na továrnu, rafinérii cukru. Za německé okupace byla sice snaha hrad opravit a zpřístupnit, ale práce byly pro nedostatek peněz zastaveny. V únoru roku 1957 je hlavní zámecká budova z příkazu Národního výboru odstřelena. Celý areál poté řadu let pustne a upadá v zapomnění.
V roce 1992 je zahájen rozsáhlý archeologický průzkum, ten přinesl překvapující poznatky o počátcích osídlení České Lípy a stavebně historickém vývoji tohoto panského sídla. Současně probíhají práce na rehabilitaci celého areálu.
Dominantou hradu je mohutná hradba s renesančním oknem a dvě branské věže. Na nádvoří si návštěvníci mohou prohlédnout základy útočiště věže, takzvaného bergfritu, ten patří spolu se základy středověkého srubu a pece k nejstarší vývojové fázi hradu odkryté archeologickým průzkumem. Z hlavní zámecké budovy se zachovaly unikátní gotické sklepy druhé poloviny 14. století, které jsou nádhernou ukázkou stavebního umění dřívějších mistrů.
Od června roku 2003 je hrad přístupný široké veřejnosti. V současné době je pro návštěvníky připraven prohlídkový okruh, který umožňuje prohlídku nádvoří s prezentací pozůstatků hradní architektury, návštěvu unikátních hradních sklepení s drobnou ukázkou archeologických nálezů, jediné dochované stavby hradu Lipý – branské věže kde je instalována expozice připomínající život na hradě Lipý na přelomu 19. a 20. století. Prohlídka je s odborným výkladem průvodce.
V těsném sousedství se nachází Centrum textilního tisku, muzeální expozice, která nabízí návštěvníkům možnost seznámit se interaktivní formou s historií kartounkářství v České Lípě a možnostmi potiskování textilu.
Za pozornost bezesporu stojí také budova půvabného renesančního letohrádku, zvaného Červený dům, postavený Jiřím Jetřichem Berkou roku 1583 na místě bývalého předhradí a také nedaleký kostel Sv. Kříže, spojovaný s účastí parléřovské stavební huti.
Hrad Lipý se nalézá v historickém centru města a je součástí městské památkové zóny, nádvoří hradu slouží také jako scéna pod širým nebem pro kulturní akce.
Podle webu hradu Lipý