V letech 1370 - 1376 patřila Lipnice královské koruně. Roku 1376 zastavil král Lipnici pánům z Kunštátu a ti ji roku 1379 prodali Vítkovi z Landštejna. Král Václav IV. udělil Landštejnům lipnické panství dědičně. Vítkův syn Vilém založil při hradní kapli kolegiátní kapitulu a pod hradem vysadil osadu V roce 1436 se dostala do majetku Trčků z Lípy, kteří provedli na hradě pozdně gotickou přestavbu. Renesančně byl pak hrad přestaven ve druhé polovině 16.století. Roku 1645 obsadila hrad švédská posádka a nadělala takové škody v okolí, že v roce 1646 Lipnici oblehla císařská armáda a po čtyřtýdenních bojích hrad dobyla. Hrad ani městečko se z rány jim uštědřené třicetiletou válkou, už nikdy zcela nevzpamatovaly.
Ve druhé polovině 17.století a v 18.století byly využívány již některé části hradu. V roce 1869 Lipnici postihl velký požár a proměnila se ve zříceninu.Její zkáza vyvrcholila destrukcí velké věže v roce 1916. Od roku 1926 probíhají s přestávkami až do současnosti památkové úpravy.
Hrad je dvoudílné dispozice, v jižním nároží stála obrovská lichoběžníková obytná věž onejdelší straně 21 metrů. S tímto donjonem srostla do jednoho celku poměrně subtilní věžovitá brána. Nedaleko od od první brány přepažovala hrad dnes zaniklá hradba. Mezi ní a donjonem stála na jižní straně dvoupatrová budova, jejíž zbytky lze nalézt v mladším pozdně gotickém paláci. Do druhého nádvoří se vcházelo branou, ze které se dochovala pouze část. Za příčnou hradbou se půdorys hradu rozšiřoval a byla sem vklíněna hradní kaple se čtvercovou lodí, koncem 14.století zvýšenou do podoby čtverhranné věže a s dlouhým polygonálním presbytářem vysunutým do nádvoří.
Celou zadní část dispozice vyplňuje velký palác, na severní straně s ním srůstá další obytná věž, zvaná Samson, v jejímž suterénu se nachází studna. Palác dosahuje úctyhodných rozměrů 40 x 20 metrů. Zvláštní pozornost si zaslouží trčkovské opevnění, pocházející patrně z doby okolo roku 1537, jehož součástí byly i bastiony vyplněné zeminou. Jedním z bastiónu je pětiboká bašta zvaná Křenovka, která se nachází před severovýchodní frontou hradu. Druhá zajišťovala nároží malého předhradí na severovýchodě hradu. Hrad má předsunuté opevnění na vrcholu oproti hradu, zvaného Bílá věž.
Lipnice náleží k několika špičkovým a rozsáhlým šlechtickým hradům uvolněnější dispozice z počátku 14.století a je ukazatelem vzrůstající moci a možností šlechtického stavebníka.
V zatopených žulových lomech poblíž Lipnice nad Sázavou najdeme Národní památník odposlechu
Podle : Durdík Tomáš, Ilustrovaná encyklopedie českých hradů