Zámek se nachází v Mostecké ulici čp. 1 poblíž náměstí Míru. Za Jana Josefa Valdštejna stál na místě bývalé tvrze již před rokem 1727 panský dům, jehož stavitelem byl Giovanni Domenico Canevalle. Do  podoby dnešního barokního zámku jej nechal přestavět František Josef Jiří v letech 1732 až 1743. Charakteristický vzhled mu vtiskl architekt František Maxmilián Kaňka.


Po zrušení zámecké zahrady byl  v roce 1878   založen zámecký park v anglickém stylu o rozloze osmi hektarů. Nyní je park vhodným místem k odpočinku, ale i k pořádání prvomájové Valdštejnské slavnosti. Objekt je čtyřkřídlý s uzavřeným dvorem a dvěma protilehlými přístavky, jednopatrový se  vsazeným pavilonem. Od konce 19. století byl zámek využíván pro hospodářské účely, od roku 1964 zde bylo zřízeno  muzeum.


V zadním průjezdu zámku jsou osazeny 4 náhrobní kameny pánů z Jahnu, které pocházejí z let 1542, 1558, 1566 a 1571. Reliéfní zobrazení postav je  provedeno v renesančním slohu. Epitafy pánů z Jahnu patří mezi nejstarší movité  památky dokladující existenci Litvínova.


Od 70. let 19. století byl objekt upravován a adaptován na byty a kanceláře a zámecké interiéry byly odstraněny či zanikly. Původní uspořádání místností bylo postupně znehodnocováno, sál v hlavním křídle byl porušen vloženým patrem. Po první světové válce přešel zámek do vlastnictví státu a sídlila zde hospodářská správa velkostatku. Po roce 1948 byl objekt užíván Správou státních lesů v Litvínově. V roce 1960 nechal provést MěNV Litvínov částečnou adaptaci zámku a objekt byl převeden do správy Městského muzea a po integraci muzeí v roce 1964 do majetku Okresního muzea v Mostě. Zámek od 1. 6. 2006 tedy patří městu Litvínov.