Trčkům z Lípy náleželo smiřické panství až do konfiskace v roce 1634. Panství koupil v roce 1636 Matyáš Gallas. V roce 1661 dal Antonín Pankrác Gallas přestavět tvrz v raně barokní zámek. Tehdy vznikla nynější dvoupatrová ústřední zámecká budova. Do čtvercového nádvoří se jednotlivá křídla otvírala arkádami na čtyřhranných pilířích. Hlavní průčelí zámku bylo rozčleněno mělkým středním rizalitem. V místech opevnění tvrze byla vybudována zahrada.
Antonín Pankrác Gallas prodal nově vystavěný zámek v roce 1685 Isabele Magdaleně Šternberkové. Za jejího syna Jana Josefa Šternberka byla u zámku dokončena stavba hospodářských budov a v letech 1696-1699 byl postaven zámecký kostel a zároveň s ním mezi zámkem a kostelem spojovací trakt.
V roce 1715 přešlo smiřické panství sňatkem Marie Terezie ze Šternberka a Jana Leopolda z Paaru do tohoto rodu. Jan Václav z Paaru prodal Smiřice císaři Josefu II.. Zámek přestal být panským sídlem. Byla zde umístěna nemocnice a později správa císařského panství a byty jejich úředníků. Bylo zde i divadlo a hostinec.
V roce 1863 koupil smiřické panství liberecký továrník Jan Liebig. Ten dal zámek opravit a zmodernizovat. Ale již roku 1881 jeho syn prodal opravený zámek zpět správě císařských panství a opět zde byly umístěny kanceláře a úřednické byty.
V roce 1918 přešel zámek do majetku československého státu. V zámku byl umístěna rolnická škola, která zde byla až do roku 1950. Po tomto roce zde bylo umístěno ředitelství státního statku a později Velkovýkrmen Praha. Jsou zde zahájeny pokusy o opravu zámku. Na konci roku 2012 byl zámek prodán belgickému občanovi.
Zámek stojí na levém břehu Labe. Jeho budovy jsou rozloženy kolem dvou nádvoří. Na prvním nádvoří, které je přístupné portálem ve spojovacím traktu mezi zámkem a kostelem, jsou hospodářské a obytné budovy. V jeho areálu stojí i zámecký kostel. Hlavní zámecká budova je čtyřkřídlá, dvoupatrová a uzavírá druhé nádvoří.
Podle : Kol., Hrady, zámky a tvrze v Čechách, na Moravě a ve Slezsku, Východní Čechy