Na místě dnešního barokního zámku byla vybudována začátkem 13. století komenda řádu německých rytířů. V jejich vlastnictví je Slavkov poprvé zmiňován roku 1237. Části obytné budovy a kruhové schodišťové věže komendy jsou zachovány pod severním traktem barokního zámku a pod částí zámeckého nádvoří. Koncem l6. století, asi za Oldřicha III. z Kounic, byl na starších základech vybudován renesanční zámek čtyřkřídlého půdorysu s arkádami a mohutnou kruhovou věží. Fragmenty základového zdiva jsou zachovány v části suterénu severního a západního křídla zámku.


Podnět k barokní přestavbě renesančního sídla Kouniců ve Slavkově dal koncem 17. století Dominik Ondřej z Kounic. Úkolem vybudovat reprezentativní sídlo rodu na místě nevyhovující renesanční architektury pověřil italského architekta Domenika Martinelliho z Luccy. Návrh barokní novostavby ve stylu tzv. podunajského baroka provedl Martinelli v 80. letech 17. stol. a zahrnul do něj kromě zámku i úpravu a přestavbu větší části města s novým farním kostelem. Vlastní budova zámku byla navržena na půdorysu písmene U.


Nádvoří měla původně uzavírat vstupní brána v místě, kde dnes celý prostor dotvářejí přízemní půlkruhové budovy koníren. Objekt obehnal vyzděným příkopem, kolem něhož byla navršena zemina, aby nad sítí klenutých sklepů mohl vzniknout zahradní parter. Stavba zámku započala v posledních letech 17. století pod dohledem místních zednických mistrů a za občasné Martinelliho inspekce. Jako první vzniklo střední - západní křídlo s mohutně rozšířenými nárožími a náběhy obou bočních křídel. Západní příkop byl uprostřed překlenut mostem s několika schodišťovými stupni, překonávajícími výškový rozdíl mezi zámeckým přízemím a zahradním parterem. Ustupující střední průčelí bylo v patře nad mostem zdůrazněno balkonem směřujícím do zahrady z ústřední místnosti l. patra západního křídla. Rozšířená nároží zdůraznily dvojice pilastrů. Nízká okénka atikového polopatra vyvážila řadu suterénních oken, většinou slepých, vedoucích do příkopu. Pro Martinelliho bylo v interiéru typické řešení dvou samostatných schodišť i obdélného vestibulu, členěného mohutnými přízemními sloupy. Autory interiérové výzdoby byli rovněž italští umělci. Fresky namaloval Andrea Lanzani, jenž úzce spolupracoval se štukatérem Santinem Bussim. Sochařské prvky a skulptury v zámku i v parku vytvořil Giovanni Giuliani.


Dominik Ondřej, iniciátor barokní přestavby slavkovského zámku, zemřel roku 1705. Tehdy bylo zhruba dokončeno pouze jeho západní křídlo. Jeho nástupcem a rodovým dědicem se stal syn Maxmilián Oldřich, říšský hrabě z Rietbergu, od roku 1720 moravský zemský hejtman. Po roce 1720 se i on zaměřil na dostavbu zámku. Pokračovatele Martinelliho stavebních dispozic našel v italském architektu Ignáci Valmagginim. Přestože na Martinelliho projekt navázal, provedl Valmaggini některé zásadní změny původních plánů. Potřeba velkého společenského sálu a honosného vstupního průčelí z čestného dvora, si vyžádala podstatnou změnu v nádvorní části západního křídla s klenutým podjezdem. Snaha o zvýšení reprezentativní podoby nádvoří vedla k příčnému rozšíření konců bočních křídel a vyhloubení jejich nádvorních stran. Vznikl tak rozsáhlý vstupní prostor, vymezený na opačné straně obdobnými oblouky koníren. Výše uvedené změny navrhů provedl Valmaggini v roce 1731. Na začátku 30. let 18. století bylo dokončení těchto prací svěřeno staviteli Václavu Petruzzimu.


Ani Maxmilián Oldřich se nedožil konečné podoby zámku. Zásluhy na dokončení celého zámeckého komplexu má až teprve jeho syn, Václav Antonín Kounic-Rietberg, nejvýznamnější představitel rodu, od roku 1764 říšský kníže, státní ministr, kancléř Marie Terezie, Leopolda II., Josefa II. a Františka II. Krátce poté, co se po smrti svého otce ujal rodového majetku, stála již celá hlavní budova včetně jižního křídla. Nejstarší, západní průčelí, vyvrcholilo architektonicky odpovídající kopulí. Zevní úprava nově zbudovaných částí byla přizpůsobena Martinelliho západnímu průčelí. Uvnitř však již dominovaly klasicistní prvky. Dřívější bohatost štukové a freskové výzdoby byla nahrazena lineárním členěním velkých ploch a s jemným dekorem. Severní a západní křídlo s nádvorními arkádami vytvořily v patře nové komnaty. Ve stejném duchu byly vyzdobeny rovněž stropy podélného přízemního vestibulu, valená klenba v chodbách prvního patra obou křídel a strop a stěny severního schodiště. Po stránce prostorové byla maximální pozornost věnována centrálnímu oválnému společenskému sálu, kde iluzivní výmalbu provedl v roce 1767 vídeňský dvorní freskař Josef Pichler. Kancléř Kounic dokončil rovněž úpravu bývalé jídelny na tzv. Sál předků, kde umístil portréty svých rodičů, prarodičů a své manželky v nadživotní velikosti. Poslední práce na zámku byly dokončeny výmalbou zámecké kaple sv. Kříže provedenou rovněž Pichlerem v roce 1769.

Již během výstavby první etapy zámku vznikal pod vedením nizozemských odborníků před západním křídlem park komponovaný ve stylu francouzských barokních zahrad. Do dnešní doby se z něj nedochovalo zahradní kasino s Lanzaniho výzdobou, ani kašna od Petera Wiliameho. Zůstala pouze romantická stavbička čínského pavilonu z 80. let 18. století. V polovině 19. století byla zahrada zjednodušena do anglického stylu. Rekonstrukce v 70. letech 20. století vrátila zámeckému parteru zčásti jeho někdejší barokní podobu s bazény a fontánami a znovuumístěnými kamennými plastikami.