Kolem roku 1350 stál v Bavorově již starší kostel, filiální ke kostelu v Blanici. Po roce 1360 se započalo se stavbou nového farního chrámu – zakladatelé bratři Petr,Jošt, Jan a Oldřich Rožmberkové. Zřejmě do roku 1384 byla stavba dokončena (podle znaků Jana z Rožmberka a jeho choti Elišky z Halsu, umístěných na jižním portále, lze soudit, že tato část byla hotova již před roku 1389, kdy Jan zemřel). Listinou z roku 1384 ustanovili bratři Rožmberkové při novém kostele pět kaplanství a důchody kněžím, učitelům a špitálu.


Roku 1604 byl položen základ k druhé věži na jihozápadním nároží stavitelem  Petrem Vlachem z Vodňan. Roku 1649 kostel poničil požár a následně v letech 1652 – 1654 byl chrám přestavěn v trojlodí eggenberským stavitelem Petrem Spinetou. 9. září 1867 ve městě opět vypukl požár, který zachvátil i velkou kostelní věž a zničil zvony Marie, Marek a Pavel. V následujících dvou letech se velká věž dočkala přestavby píseckým stavitelem Špirhanzlem. 1. prosince 1869 došlo k posvěcení a zavěšení nových zvonů: Marie, Jana  Nepomuka, Adolfa a Idy. V letech 1905 – 1908 byl kostel regotizován podle plánů J. Mockera za vedení J. Sedláčka. Vnitřní úprava kostela byla provedena M. Boháčem v r. 1938. V době 1. i 2. světové války došlo k v Bavorově k rekvírování zvonů, zůstal pouze jediný Prokop z roku 1500. V roce 2001 byla podána do Prahy žádost o náhradu za bavorovské zvony odvezené roku 1942.


Kostel Nanebevzetí Panny Marie byl původně plánován jako jednolodní na pravidelném křížovém půdorysu, později po dostavění presbytáře a příčné lodi proveden jako dvoulodí sklenuté původní obkročnou klenbou na dva pilíře.


V 17. stol. přestavěn na trojlodí s pětiboce uzavřeným presbytářem se sakristií na severní straně. Sakristie je spojena chodbou na obloucích s přilehlou farou. Při severním rameni příčné lodi se nachází obdélníková věžovitá kaple Anděla strážce, na severní straně trojlodí kostnice a při jeho jihozápadním nároží větší třípatrová renesanční věž. Vnitřní řezbářská výzdoba je zčásti dílem Jana Václava Hammera z Čimelic z doby kolem r. 1770.
Chrám Nanebevzetí Panny Marie se vypíná na západním okraji původního městského jádra a tvoří skutečnou dominantu města.


V roce 2007 se podařilo farní kostel Nanebevzetí Panny Marie opravit. Byla dokončena venkovní fasáda, opraveno oplocení, položena nová kanalizace, dlažba a schody před kostelem. Po sedmdesáti letech byl nově vymalován i interiér chrámu a instalováno vytápění. Dále byla provedena nová elektroinstalace kostela, úprava chrámového parku a oprava a zprovoznění třech zvonů. V současné době se započalo s kompletní opravou varhan.Nová fasáda zdobí také budovu fary.