Jeho syn Antonín Alexander pak k zámku přistavěl v roce 1690 kapli Matky Boží. Po roce 1709 přešly Nalžovice věnem na Koniáše z Vydří. Patrně v průběhu doby došlo k dalším úpravám, ale dnešní půdorysný rozvrh zřejmě pochází ještě ze 17.století. Při poslední velké obnově vznikly dnešní fasády, které je možné, jak podle charakteristického vzdutí korunní římsyve střední partii, tak i s ohledem na další znaky, datovat do doby po roce 1760, kdy bylo panství v rukou Jana Václava Alsterla z Astfeldu. Nová výstavba byla zřejmě přichystána v době po roce 1756, kdy se majitel dočkal povýšení na barona a poté následovala závratná kariéra, zakončená funkcí vicepresidenta zemského soudu. Po jeho smrti roku 1799 prodala dcera Jindřiška Nalžovice Hruškovským z Hruškova, později se majitelé často střídali až roku 1948.
Tehdy zámek Schwarzenbergům zkonfiskoval stát a zřídil v něm domov důchodců a od roku 1986 ústav sociální péče pro mentálně postižené dívky, který zde sídlí dodnes. Po navrácení zámku Schwarzenbergům byl další osudy ústavu nejasné, situaci vyřešilo až jeho odkoupení krajským úřadem Středočeského kraje.
Podle : Vlček Pavel, Ilustrovaná encyklopedie českých zámků