Stavba kláštera je datovaná rokem 1238, ale pravděpodobněji až 1250 v souvislosti s Ratmírem II., synem Ratmíra ze Skviřína, zakladatele rodu Švamberků. S  jistotou lze říci, že klášter minoritů, také menších bratří, existoval roku 1272. Žila zde nevelká komunita čtyř žebravých kazatelů a jednoho laika. Později byl vybudován kostel sv. Augustina, vysvěcený jako Máří Magdalény na místě již existující svatyně.O pivovaru za klášterem se  mluví v roku 1451. Při požárech 1479, 1508 a 1528 utrpěl klášter škody spolu s celým městem, bleskem byla zapálena střecha r. 1600. V roce 1702  byl přestavován v konventu ochoz a roku 1714 zřízen refektář(společná jídelna v klášteře). V té době byl kostel velice chatrný, takže musel být roku 1741 zavřen a mše se odbývaly v chóru za oltářem a v kapli sv.  Barbory, součásti kostela. V roce 1750 žilo v klášteře jen 10 mnichů, 3  laici a kvardián ( představený řeholního domu ).


Přestavba kostela začala 1753, první mše v obnoveném kostele se konala mše 13. června podle kronikáře Stříbra Watzky. V roce 1785 byl patentem Josefa II. zrušen. Poslední mše řeholníků se odbývala 22. ledna 1786. Roku 1787  proběhla dražba na oltáře a zařízení a budovy i s pivovarem zakoupila roku 1788 obec. Kostel sv. Máří Magdalény byl v roce 1790 opatřen novým nábytkem, dostal nové varhany za 900 zlatých, přestěhoval se sem zázračný obraz Panny Marie Bolestné, protože kostel Všech svatých byl v  havarijním stavu. Kostel Máří Magdalény se stal kostelem farním.


Dne 12.července 1792 udeřil do věže blesk a shořela střecha i na části kostela a kláštera. Všechno zařízení bylo přesunuto do kostela Všech svatých. Klášterní kostel chátral a roku 1871 bylo zdemolováno dosud stojící průčelí a část věže, nyní zde stojí budova číslo 437.V klášteře k největším úpravám pro potřeby školy došlo po roce 1952, kdy z objektu musel odejít děkan ThDr. Karel Forst a s ním celá takřečená fara. Odešla i armáda do konviktu. Právě při těchto velkých úpravách byly nalezeny ostatky Adama Erdmana Trčky z Lípy a Viléma Kinského, kteří byli zavražděni spolu s Albrechtem z Valdštejna, zástavním pánem města Stříbra Kristiánem z Illova a setníkem Naumannem v  Chebu roku 1634.


V roce 1988 bylo do prostor kláštera přesunuto muzeum. V roce 1991 byla z iniciativy pracovníků muzea nainstalována malá expozice. A v roce 1992 se začalo s opravou severního křídla minoritského kláštera. Před začátkem sanačních úprav proběhl archeologický výzkum křížové chodby a kostela, odkryly se zajímavé architektonické prvky z období rané gotiky včetně nejstarší části městské fortifikace procházející šikmo v základech klášterní budovy. Byly odkryty kostrové hroby v několika vrstvách nad sebou, jak v křížové chodbě, tak na nádvoří před klášterem. Od roku 2000 postupně ve třech etapách proběhla rekonstrukce klášterní budovy, která byla ukončena v dubnu 2011.