Asi v devadesátých letech 14. století opustili páni ze Šelmberka své sídlo a hrad přešel v držení Aleše z Rýzmburka, jenž se naposledy uvádí v roce 1419. Osudy hradu za husitských válek nejsou jasné. V roce 1431 zapsal Albera z Těchobuze šelmberské panství Mikuláši z Hořic, o němž je v pramenech zmínka ještě v roce 1473.


Písemné zprávy o hradu potom mlčí až do r. 1505, kdy je uváděn Václav Předbor z Radejšína, jinak ze Šelmberka jako pán hradu se svými bratry. Před r. 1518 koupil od nich hrad s příslušenstvím Albrecht Cipl z Kravska, který přikoupil statek Šebířov. Po jeho smrti (1542) zdědila majetek jeho dcera Kateřina, která se provdala za Petra Mrackého z Dubé. Ten r. 1555 zemřel a hrad Šelmberk s dvorem, pivovarem a vesnicemi Bělčí, Elbančicemi, Bzovou a Staniměřicemi zdědil jeho syn Karel, od něhož je v r. 1586 koupil Michal Španovský z Lisova, majitel Mladé Vožice, který obě panství spojil.


Roku 1603 prodal Michalův syn Jáchym Španovský mladovožické panství se Šelmberkem Janu Bernardu Fünfkircherovi, jemuž však byl majetek pro účast na českém stavovském povstání v l. 1618–1620 zabaven. Panství mladovožické včetně Šelmberka převzala královská komora a r. 1623 je prodala Baltazaru Marradasovi. Od něho koupila v r. 1629 Mladou Vožici se Šelmberkem Veronika Častolarová, manželka Jana Přehořovského z Kvasejovic. Od jejího syna Kryštofa Karla Přehořovského koupil panství r. 1678 Ferdinand z Kuenburgu.


Hrad byl vystavěn na skalnatém ostrohu. Na přístupové cestě od jihu byl vylámán příkop a za ním stála vysoká válcová věž, přístupná ze sousedního paláce po padacím můstku v úrovni prvního patra. podobu původního předhradí prakticky neznáme. Jádro hradu bylo ve dvou výškových úrovních. Horní tvořil hradní hřeben na němž stojí v čele okrouhlý bergfrit obíhaný původně obvodovou hradbou. Za ním prakticky celou plochu hřebene zaujímá komplikovaný palác ve tvaru písmene L, který si dosud uchoval některé valeně klenuté místnosti v nejspodnější úrovni. Trojúhelné, níže položené nádvoří ze studnou bylo k hřebeni přihrazeno z boku a přímo z něho se vcházelo i do části palácových sklepů.


Původní gotický hrad byl koncem 16. století nejspíše za Michala Španovského přestavěn. V sousedství válcové věže bylo vybudováno renesanční sídlo (palác). Současně byl celý hrad obehnán novou hradbou, do níž byla vsazena brána. Za Španovských byl hrad obýván a udržován, za třicetileté války však byl opuštěn, zdivo se sesulo a v 18. století bylo postupně rozebráno na stavby v okolních vsích. Ve 20. letech 19. století dal Leopold Kuenburg opravit hradní věž jako nejlépe zachovanou část hradní zříceniny, prolomit do ní vchod a upravit na rozhlednu. Okolí bylo současně proměněno v anglický park.

Zámek v Rožmitálu byl sídlem slavného diplomata Jaroslava Lva z Rožmitálu

Zřícenina hradu Šelmberka se stala r. 1940 majetkem města Mladé Vožice.