Po Jáchymově smrti zdědil březinské panství jeho bratr hrabě Kašpar Maria Šternberk, vynikající přírodopisec, jeden za zakladatelů Muzea Království českého (pozdější Národní muzeum). Zde také založil botanickou zahradu s mnoha vzácnými cizokrajnými rostlinami. V nedalekém Stupně si nechal postavit i hrobku, do níž umístil předvěký zkamenělý strom.
Zámek je obdélná jednopatrová klasicistní budova s valbovou střechou. Centrální část zámku je sedmiosá , vyšší a širší a mladší než postranní křídla má rovné nadokenní římsy, jednoduchá okenní ostění a výraznou mezipatroovu římsu. Nižší, postranní části zámku, jsou rovněž sedmiosé. Mají jen nezdobené okenní výřezy a plochý mezipatrový kordon. Na severní straně zámeckého areálu stojí dvě prostá jednopatrová stavení s valbovými střechami.
Šternberkové vlastnili březinský zámek do roku 1949. Po znárodnění bylo na zámku umístěno lesnické učiliště, které zde sídlilo až do roku 2002. Po roce 1990 byl zámek v restituci navrácen rodině Šternberků, současným majitelem je Zdeněk Sternberg.
Podle webu obce Březina