Nejstarší zmínka o Tuchorazi v okrese Kolín je z roku 1295, kdy se vzpomínají Lutoš z Tuchoraze a jeho synové Lutoš, Bohuslav, Herald a Rostislav. Lutoš vystupuje jako svědek na jedné listině ještě roku 1323. V roce 1362 je ve staroměstské soudní knize uváděn rytíř Roštěk z Tuchoraze. Za vlády Václava IV., prokazatelně od roku 1388 vlastnil Tuchoraz Petr z Klučova, který zde vystavěl první tvrz.


Od roku 1388, za vlády krále Václava IV., byla vesnice v majetku Petra z Klučova, který na zdejší skále nad potokem Šemberou vystavěl pravděpodobně na počátku 15. století nejstarší kamenné jádro tuchorazské tvrze  - základ pozdějšího hradu. V roce 1441 koupil tvrz pražský měšťan Daniel Žitavský z Koňského trhu, který založil rybník a mlýn na Šembeře. Po jeho smrti v roce 1462 zdědila jeho majetek manželka Hedvika, která tvrz v následujícím roce postoupila svému druhému manželovi Mikuláši (Svitáčkovi) z Landštejna, purkrabímu na hradu Hluboká.


Mikuláš z Landštejna se však postupně stal nejvýznamnějším královským hodnostářem a tak malá tvrz brzy  přestala vyhovovat jeho nově nabytému mocenskému postavení. Pravděpodobně nedlouho poté, co se Mikuláš Svitáček z Landštejna stal v r. 1468 jako maršálek královny Johanky (do r. 1471) a nejvyšší písař desk zemských (do r. 1485) významným dvorským a zemským úředníkem, zahájil přestavbu malé tuchorazské tvrze, která už nevyhovovala jeho novému společenskému postavení.Stavební práce vedl Mistr Květoň o čemž se dochoval unikátní český nápis nad bránou.


Dochované zbytky tvrze a její mladší popis ze 17. století dokazují, že si  Mikuláš Svitáček opravdu vystavěl honosné šlechtické sídlo s větším palácem a mohutnou vstupní věží, na kterou dal umístit pamětní desku. Její text umožňuje přesnější časové zařazení stavby a jmenuje nejen jejího stavebníka, ale také i jejího stavitele: „Léta Božieho MCCCCLXXVII tato věže dělána jest skrze náklad urozeného pana, pana Mikuláše z Landštejna, nejvyššieho písaře desk královstvie českého a dělal jest mistr Květon. Amen.“ Po smrti Mikuláše z Landštejna zůstal hrad do roku 1579 v majetku jeho potomků a od roku 1542 je trvale označován jako „zámek“.


V roce 1579 koupil zdejší panství s hradem Jaroslav Smiřický ze Smiřic a připojil ho k černokosteleckému panství. Na Tuchorazi sídlili v tuto dobu již pouze panští úředníci. V roce 1639 hrad obléhali Švédové, sice neúspěšně ale postupné zkáze hrad neunikl. Po roce 1770 byl až na vstupní věž téměř celý rozebrán a ze získaného materiálu byly zpevněny jezy a hráze v okolí. Pod správou majitelů Kostelce nad Černými lesy zůstala obec až do zrušení patrimoniálního uspořádání v roce 1850. Poté se stala součástí okresu Český Brod a od roku 1960 okresu Kolín.

Hrad Lipnice patří k největším šlechtickým hradům

Z původní gotické zástavby se dodnes dochovaly jen zbytky paláce, části obvodového zdiva s kvádrovým nárožím bašty, sklepení a především vstupní, 20 metrů vysoká, obytná věž.Přízemí objektu je zaklenuto dvěma poli křížové klenby, jejíž dvakrát vyžlabená žebra s oblými pruty po stranách dosedají na patkách na kuželové konzoly. Ve svorníků je ztvárněn štít ve tvaru sférického trojúhelníka se zkosenými rohy, na němž je pětilistá landštejnská růže. Do patra vedlo šnekové schodiště. Ve věži se dochovaly unikátní gotické klenby, ve druhém patře obkročná hvězdicová klenba. Věž tuchorazského hradu představuje unikátní a poměrně řídce reprezentovanou architekturu z doby vlády Jiřího z Poděbrad. V 2. patře věže kryté mansardovou střechou se zachovala krásná hvězdová klenba připomínající parléřovský vzor.