Václavova nákladná zahraniční politika byla hlavním důvodem, proč byl v roce 1300 Bezděz zastaven Berkům z Dubé. V jejich držení zůstal až do roku 1348, kdy hrad vykoupil zpět do královského vlastnictví Karel IV. Byl to právě tento slavný český panovník, kdo v okolí Bezdězu založil množství rybníků, mezi nimi i Velký rybník, který je dnes znám pod názvem Máchovo jezero. Ačkoliv Karel IV. zařadil Bezděz mezi královské majetky, které nesměly být zastavovány či prodávány, jeho syn, český král Václav IV., již roku 1398 hrad zastavil svému bratranci Prokopovi. Do vlastnictví Českého království se hrad Bezděz již nikdy nevrátil...
V roce 1419 získal hrad do zástavy Jan Michal z Michalovic, jehož syn Jindřich Michal z Michalovic získal od krále Zikmunda do zástavy navíc ještě město Bělou, Velký rybník a několik okolních vesnic. Po pánech z Michalovic se mezi majiteli Bezdězu střídali Smiřičtí, Tovačovští z Cimburka, Berkové z Dubé a Vartenberkové. Hrad však za jejich vlastnictví ztrácel na významu a nebyl opravován. Situace se mění až roku 1622, kdy zchátralý a požárem poškozený Bezděz kupuje slavný vojevůdce Albrecht z Valdštejna. Rozhodl se přebudovat Bezděz na moderní vojenskou pevnost, avšak vzácná raně gotická architektura Bezdězu nebyla naštěstí nijak vážně narušena, neboť stavitel Spezza spolu s pevnostním inženýrem Pieronim stihli vybudovat pouze trojúhelníkové bastiony zpevňující severní stranu hradu a jednu obdélníkovou baštu na východě. Těsně předtím, než byl v Chebu roku 1634 Valdštejn zavražděn, své záměry přehodnotil a na hrad pozval augustiniány, které však vzápěti vystřídali montserratští benediktini.
Definitivní přeměna hradu na klášter nastala teprve dlouho po skončení třicetileté války. Zpustlé a požárem poškozené hradní paláce byly postupně upravovány pro potřeby kláštera. Prostory purkrabského paláce byly upraveny na refektář (společná jídelna mnichů) a mnišské cely, protější královský palác byl přebudován na obydlí opata. Když byla do hradní kaple roku 1666 slavnostně přenesena kopie černé Madony ze slavného španělského poutního místa Monserrat, zařadil se Bezděz mezi vyhledávané cíle zbožných poutníků. V roce 1686 nechala hraběnka Marie Anna z Valdštejna vybudovat podél přístupové cesty na hrad dodnes stojící kapličky křížové cesty. Čilý duchovní život na bývalém královském hradě Bezdězu ukončil císař Josef II., který zdejší klášter roku 1785 zrušil. Opuštěné budovy se staly pro okolní obyvatele vítaným zdrojem stavebního materiálu, z hradu proto bylo odneseno veškeré dřevo a železo, a tak již roku 1789 zbyly na Bezdězu jen holé zdi vystavené nepřízni počasí.
Roku 1797 zakoupil hrad hrabě Arntošt Filip z Valdštejna-Vartenberka. O osud hradních budov však nejevil přílišný zájem, a tak se Bezděz dále měnil v ruinu. Tou dobou už si ale romantická zřícenina Bezdězu nacházela své první příznivce, a barokní poutníci tak byli vystřídáni romantickými výletníky. Jedním z těch, na které bývalý královský hrad Bezděz nejvíce zapůsobil, byl i slavný český básník a spisovatel Karel Hynek Mácha. Podle svých vlastních zápisků navštívil Bezděz mezi lety 1833–1835 celkem šestkrát. Snad nejvíce na Máchu zapůsobila jeho druhá návštěva v roce 1833; tehdy se dostal nahoru na hrad až večer, v době, která snad nejvíce vyhovovala jeho romantickému cítění. Přímým ohlasem této návštěvy je povídka Večer na Bezdězi, napsaná v březnu 1834 a otištěná v Tylových Květech v květnu téhož roku. Vedle slavného spisovatele a básníka však Bezděz přilákal i některé malíře, jako byli např. Amálie Mánesová, Alois Bubák či Hugo Ullik. Bezděz je neodmyslitelně spjat i s hudebním skladatelem Bedřichem Smetanou, který na hrad částečně zasadil děj své opery Tajemství, jejíž dějová zápletka využívá lidových pověstí o pokladu na zdejším hradě.
Skalní hrad Sloup se honosí mimořádným geniem loci
Romantický zájem o středověké stavební památky přiměl Arnoštova syna a nástupce, hraběte Kristiána Vincence Arnošta z Valdštejna-Vartenberka, k prvním opravám. V roce 1844 došlo ke zpřístupnění velké věže, přičemž došlo v jejím nejvyšším patře k vybudování romantické místnosti napodobující svým vzhledem středověké rytířské síně. Mezi další stavební akce tohoto období patří i provizorní zastřešení královského paláce. Na počátku 20. století byly připravovány rozsáhlejší opravy hradu, avšak tyto plány přerušila první světová válka.
K novému zastřešení královského paláce a kaple proto došlo až v letech 1920–1926. V témže období Valdštejnové-Vartenberkové jednali s Klubem českých turistů o prodeji hradu; po několikaletém jednání byla roku 1932 uzavřena kupní smlouva. Do doby, než práce přerušila druhá světová válka, byla nově zastřešena a opravena budova purkrabského paláce a opravována byla i hradní kaple. V roce 1945 přešel hrad Bezděz do majetku státu.
Podle webu NPÚ