Jednou z mála staveb, která dodnes stojí z bývalého městečka Zahrádky, je původně románský kostel sv. Víta. Stojí na břehu přehradní nádrže Švihov na řece Želivce, 11 km jižně od Ledče nad Sázavou  První přímou zprávu o kostele uvádí darovací listina Přemysla Otakara I z 26. června 1219, kterou postoupil ves Zahrádka s kostelem a újezdem k ní příslušejícím Vyšehradské kapitule. V té době se však jednalo o menší stavbu vybudovanou okolo roku 1200. Její základy byly objeveny při archeologickém průzkumu v roce 1976-1977 a jsou dnes vyznačeny v dlažbě uvnitř kostela.


Současná stavba byla založena po roce 1219 či 1225 a byla několikrát přestavována. Barokní přestavbu provedl Jan Leopold Donát, kníže z Trautsonu, v r. 1738. Při barokní přestavbě byl kostel prodloužen směrem k západu. Po požáru, který Zahrádku postihl v r. 1783, byl kostel obnoven až v r. 1787. Další úprava byla provedena v r. 1811 a po požáru v roce 1850. V období první republiky byla osazena secesní okna a provedena nová výmalba kostela.


Jako farní je kostel poprvé připomínán v děkanátu Červenořečickém v roce 1348 za probošta Jindřicha z Lipé. Dnes se jedná o jednolodní barokní stavbu. Původní loď kostela byla dlouhá 10,3 m, jak je dosud vidět na severní boční stěně, kde lze rozeznat novější zdivo, jímž byl kostel prodloužen asi o 3,5 m až ke kruchtě a odtud o 3,5 m až k západní průčelní stěně. Šířka lodi při přestavbách zůstala nezměněna a je 8,75 m. Románské zdivo z nepravidelně loženého kamene je 110 - 130 cm silné. Loď je zakryta plochým stropem a dřevěným krovem z 19. století. Kruchta v západní části kostela je podklenutá hřebínkovou klenbou s lunetami. Je přístupná točitým schodištěm se samostatným vstupem z jižní strany kostela.


Na jižní straně lodi se dochoval původní románský portál z doby výstavby kostela. Portál je půlkruhově sklenutý, třístupňový se třemi sloupky s pravoúhlými ústupky a deskovými hlavicemi i patkami po stranách. Archivoltu portálu tvoří profilace 3 oblounů shodná se sloupky, vnější profil archivolty je zdoben klikatkou. Vlastní vstup je pravoúhlý, hladký a reliefně zdobený tympanonem, v němž je segment střední části lemován motivem provazce, základna pásem řazeným do sedmi květinových tercil 6 - 8 osmicípých a nepravidelně orientovaných. Ve středu této plochy tympanonu se nachází plastický rovnoramenný vyhloubený kříž, v jehož středu je malý plastický křížek. Po stranách velkého kříže jsou zahloubeny velké tercily.U obou vstupů do kostela jsou v interiéru kamenné zdobené kropenky.


Vítězný oblouk je půlkruhově sklenutý. Rovněž presbytář (kněžiště) je zaklenut pozdější barokní klenbou. V severní stěně presbytáře je gotický sanktuář. Z presbytáře je možno vstoupit gotickým portálem do přízemí věže, které sloužilo jako zákristie. Má pravidelný čtvercový půdorys a původní žebrovou klenbu s kruhovým dutým svorníkem. V zákristii je původní gotická dlažba. Věž má gotická střílnová okénka a je zakončena rokokovou helmou s osmicípou bání.

Zvony byly zničeny pravděpodobně při požárech kostela, protože před 1. světovou válkou zde byly 4 zvony z roku 1851. Po rekvírování zvonů za první a druhé světové války byl na věži pravděpodobně jen jeden zvon zapůjčený ze zvonice v Ježově, kam byl po zrušení obce navrácen.