Nad soutokem potoků, které protékají skalnatými údolími od Drchlavy a Dřevčic, stálo na náhorní ostrožně v mladší době hradištní slovanské hradiště. Bylo přístupné pouze od jihu, kde je chránil dodnes zavaný, a stromy a keři porostlý obloukovitý val, dlouhý asi 150 m a vysoký 2-4m. Před ním je ještě dnes patrný příkop. Val původně uzavíral trojúhelníkovou ostrožnu a na jeho obou stranách byly příkré skalní stěny, spadající do dolského údolí a do údolí k Dřevčicům.


Tato výhodná strategická poloha byla znovu využita ve středověku, kdy zde vznikl hrad Hrádek, později nazývaný Chudý hrádek. První zpráva o něm je z roku 1391, kdy Jindřich starší Berka z Dubé na Housce oddělil pro své tři syny část majetku a pro sebe a mladší syny si ponechal Housku a Hrádek, Milčany a Frýdlant.


Zakladatelé středověkého hradu rozdělili bývalé slovanské hradiště tak, že větší část za původním starým valem přeměnili v předhradí,  kde pak stával i poplužní dvůr. Byl vykopán hluboký druhý příkop, který se táhl rovně až k okrajům skalních stěn. Na prostoru za příkopem se dochovaly zbytky obdélníkového stavení, bývalého hradního paláce, který měl i vlastní věž ve vedlejší části paláce, kde jsou zachovány zdi až do původního druhého poschodí. Vlastní jednodílný hrad na čelní straně opevňuje široký příkop. Nad ním se dochovaly pozůstatky zalomeného průběhu obvodové hradby, která respektovala tvar pískovcového útvaru a celý hrad obtáčela. Vnitřní zástavba zaujala jižní a východní stranu areálu.


Stavba při východní straně byla založena ve dvou výškových úrovních, přičemž pod vyšší je ve skále vytesán sklep. Minimálně její část byla dřevěná, jak dokládají nálezy mazanice. Lépe, do úrovně prvého patra dochovaná budova při jižní hradbě vykazuje tři stavební fáze. Nejstarší představuje stavba v nároží s armovanými rohy. Druhou fází je přestavba po mohutném požáru a třetí stavbu rozšířila o obdélnou východní část opatřenou rozměrnými okny. V úrovni jejího patra byla nově vyzděna i obvodová hradba. Objekt při východní hradbě využil obvodovou zeď jádra i na kratší severní a jižní straně.Pod palácem stálo směrem k vrcholu ostrožny ještě jedno stavení, jen z vepřovic a s hlíny, pod kterým se dochoval sklep. Izolovaná podoba na příkrých vysokých skalách způsobila, že hrad měl jen dřevěné ohrazení. Směrem do údolí jsou dvě skaliska, na nichž se patrně nacházely dřevěné věže mezi nimiž prý bývala hradní studna.


Po smrti Jindřicha staršího Berky z Dubé dostal roku 1402 Hrádek s dvorem a dalším majetkem jeho nejmladší syn Jindřich zvaný Vaněk, který se zde usadil a psával se od té doby i po Hrádku. Když jsem přesídlil, povolal k sobě z Prahy své dva syny, Jindřicha a Jana s jejich vychovatelem knězem Mikulášem, sakristiánem od sv.Víta. V roce 1450 podepsal Jindřich Berka mladší s dalšími členy rodu na Hrádku odpovědný list Míšňanům. V letech 1518 - 1522 se připomíná na Chudém hrádku Jiří Kaplíř Osterský ze Sulevic, který pak hrad prodal roku 1532 Václavu z Vartenberka na Rybnově. Později byl Chudý hrádek připojen k novozámeckémi panství.

Jedním z nejmalebnějších českých hradů je Kokořín

Když byl roku 1622 Jan Jiří z Vartenberka odsouzen za účast na stavovském povstání ke ztrátě veškerého majetku, je uveden naposled Chudý Hrádek, zřejmě již tehdy neobývaný. Zpustl tak dokonale, že brzy zmizelo i jeho jméno a zřícenina se začala nazývat Pustý zámek,Poustka.