Rodina zakladatele zahrady byla zvláštním nařízením císaře zproštěna všech poplatků z tohoto majetku. Král Václav IV. potvrdil sice tuto výsadu, avšak vymínil si, aby se pro zábavu královu v zahradě sázely a pěstovaly vonné květiny a vzácná koření. Od roku 1736 pak zde stál žensky klášter založený od hraběte Františka Šporka a po zrušení kláštera za císaře Josefa II. zde byl od roku 1784 hlavní úřad pro důchod tabákový a jiné finanční úřady. V letech 1871–1874 se pak zde postavila rozsáhlá novorenesanční budova poštovního úřadu.
Název „Andělova zahrada“ podle zakladatele Angela zůstával, pokud ta zahrada, jež i při klášteře i při úředním domě ještě stávala, nebyla docela zastavěna, tedy skoro až do poloviny devatenáctého století.