V letech 1445–1540 patřila tvrz Mrackým z Dubé. Při příležitosti prodeje Jaroslavovi Šelmberkovi je tvrz poprvé výslovně zmiňována. Roku 1597 rod Šelmberků vymřel a nový majitel, Adam z Valdštejna připojil Mrač k Hrádku nad Sázavou. Tvrz ztratila svou rezidenční funkci a počala pustnout. Navíc byla dle popisu z roku 1648 poničena za třicetileté války.
Od konce 17. století do roku 1727 vlastnili Mračtí páni z Vrbna, následně pak Vrtbové, kteří ji připojili ke konopišťskému panství. V letech 1709–1720 získala tvrz novou funkci, byla přestavěna na sýpku. V jejím sousedství si pak majitelé vystavěli barokní zámeček, jehož doba existence nepřesáhla 50 let.
Poslední stavební úpravy tvrz prodělala kolem roku 1874, kdy byla upravena na ubytovnu pro dělníky nedalekého kamenolomu.
Gotickou tvrz tvořila hradba, podél jejíž západní strany byl postaven obdélný palác. O jeho vnitřním členění lze dnes pouze spekulovat v důsledku razantní přestavby na ubytovnu 19. století. Ostatní budovy v areálu tvrze jsou již novodobé.
Podle TIC Benešov