Zakladatel ani nejstarší osudy hradu Kámen nejsou známy. Původní gotický hrad byl založen v polovině 13. století a nazván po amfibolitovém skalisku, na němž byl vystavěn. První zmínka o hradu je v pramenech až z roku 1316, kdy se připomíná Nimír z Kámene. Krátce nato vlastnil hrad Bušek Tluksa, který jej roku 1327 přijal od krále Jana Lucemburského v manství. Po Buškově smrti držel hrad jeho syn Přibík Tluksa spolu se svými bratry. Od nich jej koupil v roce 1356 Jindřich z Ciglheimu, který přestavěl hradní palác. Když se Jindřich vzdal svého manství na Kámeni, uvázali se v jeho zboží opět původní držitelé Tluksové. Patřili k té části drobné šlechty, která za velkého zápasu o moc v předhusitských Čechách stála věrně na straně krále Václava a podporovala jej v boji proti odbojnému panstvu.


Roku 1437 Hynek Tluksa prodal hrad i s podhradím Purkartu Kamarétovi z Žirovnice. Roku 1456 Purkart prodal Kámen s celým panstvím bratřím Trčkům z Lípy, jimž v té době patřilo město a panství pelhřimovské. Noví majitelé však hrad již v roce 1460 prodali Janu Sádlovi ze Smilkova.  Po Sádlově smrti v roce 1464 se ujal hradu Kámen jeho švagr Petr Břekovec z Ostromeče a Kozího Hřbetu, od něhož hrad koupil v roce 1468 Oldřich Fifka z Vydří.  Jeho syn Albert prodal kámenské zboží roku 1479 Janovi z Vojslavic. Roku 1499 zdědil hrad jeho nejstarší syn Markvart a v roce 1504 byl hrad propuštěn králem Vladislavem z manství. Markvartův syn Petr z Vojslavic panství rozdělil – jednu polovinu prodal Janu Zručskému z Chřenovic. Druhá polovina hradu přešla později na Petrovu sestru Kateřinu.


Kateřina z Vojslavic byla podruhé provdána za Petra Malovce z Malovic a roku 1523 mu zapsala všechen svůj majetek. Malovec koupí druhé poloviny kámenského zboží spojil obě části opět v jeden celek. V polovině 16. století tak dosáhlo panství Kámen největšího rozsahu – k hradu patřilo městečko a deset poddanských vsí. Po Petrovi zdědili otcovské statky jeho tři synové, kteří si je roku 1557 rozdělili. Kámen s poplužním dvorem, městečko Kámen, ves Eš a část Vysoké Lhoty připadly Malovcovi. Za něho nebo za jeho synů Petra a Václava byl hrad rozšiřován a přistavěno jeho severní křídlo s obytnými místnostmi a trakt na jižní straně.


Z maloveckých držitelů se do historie Kámene nejvýrazněji zapsal Jan Kryštof, který nastoupil v držení hradu po roce 1640. Za něho byl hrad znovu přestavován, vystavěno jižní obytné křídlo a nad bývalým schodištěm postavena věž (1673). Na okraji městečka dal vystavět barokní kapli a v ní zřídil rodinnou hrobku. Jeho nejstarší syn Jan Kryštof Malovec prodal na začátku 18. století hrad Kámen Františku Kreslovi z Qualtenburka. Nový majitel se zadlužil tak, že nakonec musel roku 1747 hrad opět prodat.


Dispozice hradu byla dvoudílná, přičemž jádro zaujalo vrchol skály, kterou ze dvou stran obklopilo předhradí. Vcházelo se do něho subtilní věžovou branou a z jeho původní zástavby se dodnes dochoval pouze suterén jedné budovy. Jádro bylo v podstatě obdélné s několika vystupujícími stavbami. Na nejchráněnější západní straně to byla rozměrná obytná věž lichoběžníkového půdorysu, na níž ještě navazovala zvláštní čtvrtkruhová baštička. Druhá obytná věž, tentokrát čtvercového půdorysu stála na jižní straně a na východě z obrysu hradu vystupovala věž vstupní brány. Hlavní palác stál v severozápadním nároží a jeho původně trojprostorová dispozice byla při přestavbě ve 14.století změněna na čtyřprostorovou. Další stavby se přistavovaly k východní a jižní straně, takže s vyjímkou krátkého severního úseku za branou byl obestavěn celý obvod hradu.

Jeden z posledních majitelů, svobodný pán Václav Enis z Atteru, se pustil v 2. polovině 19. století do větších stavebních úprav, jimiž však hradu ještě více ublížil, když romantickou snahou o regotizaci znehodnotil staré partie hradu.

Po rekonstrukci hlavních objektů a vybudování nových expozic byl hrad opět otevřen pro veřejnost v roce 1974 jako muzeum jednostopých motorových vozidel. V letech 1964 až 2002 byl hrad Kámen zřizován ONV, později Okresním úřadem v Pelhřimově. Od 1. 1. 2003 byl hrad Kámen samostatnou příspěvkovou organizací Kraje Vysočina a od roku 2011 se hrad Kámen stal pobočkou Muzea Vysočiny Pelhřimov, p.o.