V první polovině devatenáctého století neměla Praha žádné veřejné sady. Teprve po roce 1848, kdy se obecní správy ujala nová (česká) reprezentace, začaly se ve velkých městech zakládat veřejné sady. V Praze do té doby byly jen primitivní sady na hradbách a sady hraběte Chotka, které pak v pozdější době byly otevřeny pro veřejnost. Stávající sady se nalézaly vesměs na periferii města, a teprve na sklonku 50. let a na začátku 60. let devatenáctého století se začalo pomýšlet na zřizování sadů uvnitř města. V té době dala obecní správa Prahy vysázet kolem horní části Karlova náměstí (směrem k nemocnici) dvouřadé lipové aleje a později pak založit sady na celé této části. Plán na zřízení těchto sadů vypracovali Bedřich Wünscher a tehdejší vrchní zahradník Společnosti pro zvelebování zahradnictví v Praze Josef Fiala. Jejich plán následně doznal značných změn a vylepšení, zejména byla do středu sadu umístěna veliká fontána. Sady na dolní části Karlova náměstí byly založeny roku 1863, po té pak za řízení F. Malého, městského zahradníka, byly sady dále zdokonalovány a byly tu provedeny některé změny cest a skupin stromů, čímž ovšem byl dřívější ráz poněkud pozměněn.



Roku 1884 podal městský zahradník František Thomayer návrh na další přetvoření sadů na Karlově náměstí a na podzim téhož roku byly práce zahájeny. Následujícího roku pak došlo k přetvoření sadu v dolní části Karlova náměstí. Touto moderní úpravou nabyly sady „nové, vábné tvářnosti, znamenitě vynikající nad vzhled bývalý“. Náklad na přetvoření sadů byl 5.500 zl. Sady na Karlově náměstí se staly oblíbeným místem Pražanů a zejména za parních letních večerů bývaly tyto sady hodně navštěvovány.