Na hradišti zv. Hrádek  z pravěku či raného středověku  stojí  kostel sv. Matouše Apoštola z 1. poloviny 13. století. Písemně poprvé zmiňován v roce 1356, jako jeho patroni tehdy uváděni bratři Markvart a Bohuslav z Hrádku. Dnešní kostel je barokní, z konce 17. stol., vystavěný snad jako protireformační náhrada za husitský kostelík na Kladrubské hůře.


Podle zápisu vlašimského měšťana Václava Klobásy st. byla ke kostelu po roce 1681 pro milostnou sochu Panny Marie přistavěna boční kaple a následně i protilehlá kaple sv. Josefa, čímž kostel získal půdorys kříže. Kamenná masivní věž byla přistavěna v r. 1765.


Kostel je barokní jednolodní stavba se západní věží v šíři lodi, s nehlubokým závěrem s obdélnou sakristií v ose. Před chórem loď uzavřena do obdélných rozlehlých kaplí, v nárožích lizény. Věž dělena členěnou horizontální římsou v místech, kde dosedá střecha lodi, a je kryta barokní bání s lucernou. Na střeše lodi sanktusník. Okna obdélná, půlkruhově nebo segmentově ukončená. V lodi a bočních kaplích nové stropy, triumfální oblouk segmentově ukončený, presbytář sklenut křížovou klenbou, v sakristii je strop, v přízemí věže valená klenba s lunetami.


Hlavní oltář je barokní, asi z první poloviny 18. století s novým obrazem sv. Matouše. V jižní boční kapli na oltáři dřevěná gotická soška trůnící Madony z let 1370-1380, která byla ve druhé polovině 17. století cílem náboženských poutí a procesí. Ve věži kostela zavěšeny tři zvony.


Kostelní areál s barokní márnicí je  ohražen barokní zdí se dvěma vstupními branami. Do ohradní zdi také zasazena socha sv. Václava. V sousedství kostela stojí patrová budova fary (dnešní podoba ze druhé poloviny 19. stol.). Asi 300 m jižně od kostela se v lese nachází tzv. studánka Panny Marie Hrádecké se zázračným pramenem, který sloužil jako poutní místo v době, kdy bylo uctívání sošky zakázáno.