Hrad na žulovém kopci ve Vysokém Chlumci býval po více než 600 let středem rozsáhlého panství, ale protože po 250 let nebyl panským sídlem, nýbrž zde sídlili jenom úředníci a správce, zůstala stavba ve svých hlavních rysech v zásadě neporušena. Hrad se poprvé připomíná v roce 1382 jako majetek Purkarta z Janovic, oblíbence krále Václava IV. V majetku jeho potomků zůstal až do konce 70.let 15.století. Od roku 1474 byl v držení Lobkowiczů. Hrad byl upravován v druhé polovině 16. a v druhé polovině 17.století. Roku 1652 se zřítila část východního paláce, do zbytku byla vestavěna kaple. Roku 1678 bylo přihrazeno západní předhradí.


Zachovala se tak starobylá nepravidelnost celé stavby, která přímo hýří různými nástavbami. Jádro na vrcholu kopce tvoří dva paláce spojené hradbami, které mezi sebou svírají nádvoří. Přístup do hradu vede přes dolní bránu vystavěné až v 17.stol., jak svědčí její oblouk vyzdobený okrasami. Hradby při této bráně pocházejí rovněž ze 17.stol. Brána vede do předhradí, kde na obranu byla zbudována původní věž se sedlovitou střechou. Prostřední brána, kterou se vchází do horního hradu, jenž má vejčitý půdorys, je klenutá do kruhu a obložená tesaným kamenem. Má ještě kladky pro provazy padacího mostu. Po parkaně mezi hradbou, na které se místy zachovaly ochozy, lze přijít ke třetí bráně, která je podobná prostřední.


Hlavní palác je dlouhé čtverhranné stavení, z něhož k východu vybíhají dvě malá křídla. Původní vchod do této budovy byl ve II. patře, kam se chodívalo po dřevěných pavlačích. Na východní straně vnitřního hradu je nepravidelné stavení se štíhlou věží, pokrytou cibulovitou bání s hodinami. Je dobře patrno, že tato věž je pozdějšího data a byla vystavěna jako schodiště.


Vysoký Chlumec patří mezi nečetné šlechtické novostavby doby Václava IV. Bylo použito velmi módní dvoupalácové dispozice, pozdější přestavby měly za cíl především zlepšení obytných a provozních kvalit hradu.


Lobkowiczové vlastnili hrad až do roku 1948. Restaurační práce byly prováděny postupně od roku 1963 do roku 1973.V roce 1992 byl hrad vrácen rodu Lobkowiczů. Od roku 1998 se hrad stal rezidencí nového majitele. Je jím Riprand, Graf von und zu Arco Zinneberg.