Na území Rájce stály již ve středověku dvě gotické tvrze, které byly zničeny v domácích válkách mezi markrabaty Joštem a Prokopem koncem 14.století. Rájec pak často měnil majitele, až se v roce 1464 dostal do držení pánů Drnovských z Drnovic, který měl pravděpodobně stejný původ jako daleko mocnější páni z Kunštátu, což dokazuje především stejný erb. Ti obnovili jednu z tvrzí, kterou následně za vlády Bernarda Drnovského v roce 1570 kompletně přestavavěli na renesanční zámek.

Rod Drnovských však v roce 1618 v mužské linii vymřel a na živu zůstala jen poslední toho rodu Johanna Drnovská, která si vzala za manžela štýrského hraběte Georga Ehrenreicha z Roggendorfu.


Od její smrti v roce 1667 tak přechází rájecké panství do majetků Roggendorfů, kde zůstává až do roku 1763. V tomto roce kupuje Rájec od  sourozenců své ženy za 360 000 zlatých zakladatel nynějšího zámku Antonín Karel ze Salm-Reiffercheidtu (1720-1769).


Panství získal v době, kdy zde již žádný zámek nebyl. Renesanční stavba Drnovských kompletně vyhořela v roce 1757, a proto bylo nutné postavit zámek nový. Antonín Karel si vybral velice moderní plány od italského architekta francouzského původu Isidora Amanda Marcela Canevala ve stylu rokokového klasicismu, který je syntézou forem pozdního baroka a francouzského klasicismu. Stavba zámku trvala po dobu šesti let, od  roku 1763 do roku 1769. Zakladatel zámku starohrabě Antonín Karel umírá již roku 1769, a proto se o poslední úpravy postaral jeho syn kníže Karel Josef (1750-1838).

Zámek patřil knížecí rodině Salmů až do roku 1945, kdy jim byl spolu s velkostatkem na základě Benešových dekretů zkonfiskován a přešel do vlastnictví státu. Po zestátnění byly na zámku i jeho okolí provedeny mnohé úpravy a restaurátorské práce. Dnes je státní zámek Rájec nad Svitavou Národní kulturní památkou.