Páni z Miroslavi a z Myslibořic jsou doloženi od roku 1230, takže se dá předpokládat, že již tehdy měli v Miroslavi své sídlo. Vodní tvrz se poprvé připomíná v roce 1387, kdy Zikmund a Hartleb z Myslibořic předali Miroslav s tvrzí a několika vesnicemi hraběti Hanuši z Hardeku. Od konce 15. století do 60. let 16. století vlastnili Miroslav Valečtí z Mírova. Ti přestavěli v první polovině 16. století dosavadní tvrz v renesanční zámek.

Je to poschoďová  stavba s dvěma nádvořími, s renesančními arkýři na krakorcích a věžovitým hlavním stavením. Uvnitř objektu jsou zajímavé dvě místnosti se sklípkovou klenbou a portál s ojedinělým rámcováním ostění – naturalistickým motivem osekaných kmenů s figurálními reliéfy dvou biřiců. Valečtí z Mírova směnili v roce 1569 miroslavský statek s Hodickými z Hodic z apanství Hostim. V té době patřil ke statku zámek Miroslav, městečka Mitterdorf, Olbramovice, Kubšice, vsi Česká Ves (Pemdorf), Suchohrdly, Lidměřice, Šumice, Damnice a pusté vsi Polekovice, Hlavatice a Újezd.


Dnešní město Miroslav vzniklo spojením Mitterdorfu, Pemdorfu a Václavova a snad ještě židovské obce. Celek byl v roce 1533 povýšen na městečko. Pro účast v českém stavovském povstání v letech 1618 – 1620 Hodičtí Miroslav ztratili. V září 1619 zpustošilo Miroslav vojsko císařského generála Dampierra. Za pobělohorských konfiskací získala statek za 30 000 zl. hrabata z Náchoda a držela jej do roku 1661. Náchodští přestavěli renesanční zámek v barokní, i když zevnějšek zůstal bez podstatných změn; jen sály byly vyzdobeny štukami. Kolem zámku byl zřízen park. V letech 1692 – 1784 patřil zámek spolu panstvím premonstrátskému klášteru v Louce u Znojma, který je připojil k panství Loděnice.


Náboženský fond provedl v roce 1785 na panství úpravu robotních povinností a prodal zámek spolu s panstvím v roce 1824 za 130 000 zl. rodině lékaře Josefa Hopfera, jíž náležel až do roku 1893; poté jej koupila rodina vídeňských cukrovarníků Stummerů. Od 30. let 20. století až do roku 1945 patřil zámek sestrám Amálii Krescencii a Albertě Stummerovým.  Po roce 1945 získal zámek do správy Městský národní výbor, který jej využíval například jako muzeum nebo různá ubytovací zařízení. Od počátku 90. let je zámek majetkem města.


Rekonstrukce jihovýchodního křídla probíhala v letech 2014-2015 a podařilo se opravit větší třetinu zámku. Zámek byl slavnostně otevřen 18.7. 2015 a nyní je zpřístupněn veřejnosti.