První tvrz v Kounicí vybudoval po roce 1567-93  Jáchym Vachtl z Pantenova.  Renesanční tvrz dokončili asi až jeho synové. Majitelem se v roce 1599 získal Rudolf Trčka z Lípy. V letech 1612-1634 nechal tvrz přestavět na reprezentativní trojkřídlý renesanční zámek. Ve 2.polovině 17.století začíná se stavitelskými aktivitami Arnošt Ferdinand Leopold de Suys. Po smrti Ferdinanda stavbu dál financuje jeho manželka Klára Františka. Zámek byl rozšířen o čtvrté křídlo, ale dílo dokončil až nový majitel. Tím se stal Jan Rudolf Morzin. Nechal vystavět kolem zámku zeď se třemi branami a obnovit příkop.


Důkladné obnovy se zámek dočkal podle chronogramu v ozdobné kartuši umístěné nad portálem v roce 1719, za Václava Morzina. Tehdy vznikla jeho současná barokní podoba s hranolovitou věží a lucernovou střechou.


Před vjezd byly umístěny dvě unikátní sochy mouřenínů od F.M.Brokoffa. V roce1924 zámek získala obec, která ho využívala jako obecní úřad a školu. Roku 1963 byla neuváženým způsobem snesena věž. V roce 1965 byly sochy uloženy do sbírek Národní galerie v Praze a na zámku nahrazeny kopiemi. O pět let později došlo k rekonstrukci, při níž byl zámek ochuzen o zbytky cennější architektury. V roce 1987 zámek vyhořel. Po požáru nechala obec zámek zastřešit a do průčelí byla znovu umístěna věž. Následně zámek několikrát bezvýsledně měnil majitele a stavba nadále chátrá.


Čtyřkřídlá dvoupatrová budova s obdélným nádvořím a hranolovou věží nad vstupním jihozápadním průčelím. Střechy jsou sedlové, nad vstupním průčelím vyšší. Věž nad průčlím kryje plechová střecha s osmibokou lucernou ve vrcholu. Hladce omítané fasády jsou prolomeny řadami obdélných oken rámovaných jednoduchými šambránami, místy sdruženými po dvojicích. Okna ve druhém patře byla zvětšena při prvorepublikové přestavbě na školu.


Před vstupním průčelím je kamenný mostek přes bývalý příkop, končící u barokní kamenné brány ve tvaru edikulového portálu. V segmentově zakončeném vrcholu je erbovní kartuše s nápisem vztahujícím se k přestavě, v němž je uvedeno jméno Václava hraběte z Morzina. Podobně komponovaná ale ve zděná brána dení je na stejné ose i na zadním severovýchodním průčelí. Interiéry jsou ve spodní čáti většinou klenuté valeně s pětibokými výsečemi. Místnostmi v patře jsou plochostropé (renesanční trámové stropy z velké části zanikly při požáru).