Na místě původního kostela, stavěného od roku 1281 (roku 1284 sem byli povoláni františkáni) a za husitského hnutí do základů zničeného, byl od konce 15. století budován nový klášter s kostelem Nanebevzetí Panny  Marie. Na dobu jeho vzniku ukazuje letopočet 1491, umístěný na sedile na severní straně presbytáře kostela. Stavebníky kostela byli Zdeslav a Ladislav ze Šternberka.


Kostel Nanebevzetí Panny Marie byl postaven jako síňové dvoulodí (přes 42 m dlouhé) s obdélným, polygonálně uzavřeným presbytářem v ose severní lodi. Na severu přiléhá ke kostelu komplex klášterních budov. V baroku byla na jižní straně přistavěna centrální kaple Ukřižování Páně a Bolestné Panny Marie. Kněžiště i dvoulodí bylo opatřeno opěrnými pilíři, které jsou v severní lodi patrny pouze v křížové chodbě. Prostor mezi presbytářem a severní lodí spojuje lomený vítězný oblouk. ve stěnách, na jejichž vnějším zdivu jsou patrny zbytky malované rustiky, byla prolomena vysoká hrotitá okna.


Presbytář je sklenut síťovou klenbou s cihlovými žebry, vybíhajícími z jehlancových konzol a protínajícími se v terčovitých svornících se šternberskými znaky. Dvoulodí bylo před rokem 1500 sklenuto sklípkovou klenbou, vynesenou na tři polygonální pilíře s osmihrannými patkami. Kostel byl překryt sedlovými střechami. Teprve v baroku byla na střeše lodi přistavěna malá cibulovitá vížka. Do západní části severní lodi byl v roce 1634 vestavěn barokní kůr, nesený oblouky na pilířích a podklenut křížovou klenbou bez žeber. V roce 1943 byla objevena a následně obnovena v podkruchtí na severní straně pozdně gotická nástěnná malba Poslední soud z doby kolem roku 1520.


V interiéru klášterního kostela zůstaly zachovány některé součásti výbavy ze 16.-18. století. Z roku 1780 pochází hlavní oltář, rámový, bohatě ornamentálně zdobený sochařem F.Feitem z Pelhřimova a řezbářem V.Modlerem ze St. Boleslavi. Na oltáři je umístěna socha Ukřižovaného z druhé poloviny 16. století a pod ním Pieta z konce 15. století. Původní obraz z oltáře od F.Prokyše z roku 1780 byl umístěn v lodi u kůru. Z dalších výzdobných prvků klášterního kostela je možno poukázat na pět bohatě zdobených bočních oltářů; na obrazy sv. Františka z Assisi a sv. Antonína Paduánského, které bývají připisovány K.Škrétovi (z let 1664-1665); dále na obraz sv. Ludvíka udělujícího almužny od M.V.Halbaxe z doby po r.1700 ad. Ze 16. století pocházejí náhrobní desky Ladislava a Jana ze Šternberka, jeho manželky Johany Švihovské z Riesenburku a Kryštofa ze Švamberka. Do téhož století je datována též kropenka v podobě kmene s propletenými suchými větvemi a socha Piety, umístěná ve výklenku s tepanou mříží na jižní straně presbytáře. V podzemí klášterního kostela bylo postupně postaveno několik hrobek, z nichž poslední přistavěli k chrámu roku 1898 Paarové.


Roku 1673 byla k jižní stěně kostela přistavěna kaple Ukřižování Páně a Bolestné P.Marie, kterou nechala roku 1725 nahradit Marie Terezie Paarová dokonalejší stavbou, založenou na osmiúhleném půdorysu, zaklenutou kopulí s lucernou a bohatě vně i uvnitř zdobenou.


Klášter, který vznikl současně s kostelem Nanebevzetí P.Marie, je trojkřídlou, jednopatrovou stavbou s ambitem kolem čtvercového dvora. U severovýchodního nároží byla vystavěna kaple sv. Karla Boromejského (původně zasvěcená sv. Barboře).


Obdobně jako lodě kostela, byly kapitulní síň, kaple sv. Karla Boromejského, ambit, západní předsíň a sakristie sklenuty sklípkovou klenbou. Refektář, přistavěný na místě starší stavby v roce 1684, byl sklenut valeným lunetovým stropem.


V roce 1785 byl vybudován klášterní vodovod a od roku 1791 stávala na klášterním dvoře škola. Na jihovýchodním okraji zahrady byla v roce 1830 přistavěna pětiboká besídka.