Dějiny města jsou mnohem starší než historie samotného brtnického zámku. První písemnou zmínku o Brtnici najdeme v listině markraběte Přemysla z roku 1234. V této době byla Brtnice zeměpanským majetkem. Prvními majiteli brtnického hradu byli Valdštejnové, kteří se později psali jako Brtničtí z Valdštejna. Roku 1409 (nebo počátkem 1410) umírá Hynek (Heník) z Valdštejna, řečený Nestějka, snad hofmistr Karla IV. Z jeho tří synů se nedalekého Rokštejna (původní sídlo Brtnických Valdštejnů) a brtnického zboží ujímá nejstarší syn Jindřich († 1422).


Po Jindřichově smrti statky dědí Hynkův nejmladší syn Zdeněk. Ve své době je znám jako ochránce lapků a podněcovatel jejich podniků, stejně jako jeho otec Hynek (krádeže dobytka, suken apod.). Po přepadení Jihlavy r. 1432 a pozdějším uzavření příměří s markrabětem Albrechtem, zprostředkovává Jindřich r. 1441 mírovou smlouvu mezi Jihlavou a Táborem.Vzhledem k tomu, že se r. 1436 Jihlavští ohradili proti jeho stavebním úpravám brtnického hradu, můžeme usuzovat, že vrcholně gotický hrad se zde začal budovat někdy koncem první třetiny 15. století.Další pán na Brtnici se opět jmenoval Hynek. Byl přísedícím zemského soudu a královským radou. Postupně přikupoval okolní vesnice, a tak zvětšoval svoje panství. Na jeho žádost povýšil r. 1486 Matyáš Korvín jako markrabě moravský Brtnici na městečko.


Hynkův syn Burian rozšířil společně s bratrem Zdeňkem své panství o Moravské Budějovice. Burian byl, stejně jako jeho otec, královským radou a nejvyšším sudím markrabství moravského. Prameny o něm říkají, že mnoho dobrého markrabství moravskému a vlasti své způsobil. Byl to pán velice moudrý a ve všech věcech rozšafný…

Burianův vnuk Hynek byl významnou osobou své doby. Dostalo se mu řádného vzdělání – jeho preceptorem byli Petr Codicill z Tulechova, profesor a rektor akademie pražské a později Jiřík Vávruš. Ve svých studiích dále pokračoval ve Wittemberku. Po smrti svého otce Zdeňka byl přijat u dvora císaře Ferdinanda I., se kterým jezdil na sněm do Frankfurtu. Zúčastnil se poselství k papeži Piovi IV. Jeho kariéra byla spojená s císařským dvorem i v době Maxmiliána II. – provázel jeho dcery do nové vlasti: Annu do Španělska (Filip II.) a Alžbětu do Francie (Karel IX.).


Přestavby hradu na zámek byly započaty již Hynkovým otcem Zdeňkem. Hynek společně se svojí manželkou Kateřinou Zajímačkou z Kunštátu a Jevišovic přestavby dokončil snad roku 1593. Na třetím nádvoří se od této doby nachází renesanční arkády, které jsou dílem italského architekta Baltazara Maggi de Ronio. Hynkova stavitelská činnost se však neomezila jen na zámek. V předzámčí nechal vybudovat r. 1588 zámecký kostel, tehdy evangelickou modlitebnu, sv. Matouše s rodinnou hrobkou.

Posledním Valdštejnem na Brtnici byl Hynkův synovec Zdeněk. Dostalo se mu vzdělání např. na univerzitě ve Štrasburgu. V letech 1599 – 1602 absolvoval kavalírskou cestu po Evropě. Z tohoto období se zachoval jeho deník, který je uchováván ve Vatikánské knihovně. V době vypuknutí stavovského povstání stál Zdeněk Brtnický z Valdštejna na straně povstalců, což se mu stalo osudným. Roku 1621 byl zatčen a uvězněn, jeho statky mu byly zabaveny. Zemřel na Špilberku roku 1623.


Zkonfiskované panství bylo ohodnoceno na 110 000 zlatých moravských. Císař Ferdinand II. jej odprodal svému plukovníkovi Rombaldu XIII. hraběti de Collalto et San Salvatore coby náhradu za jeho vojenské služby. Tak se na Brtnici dostal v historii druhý a zároveň poslední šlechtický rod v historii.

Collaltové přinesli do Brtnice nejen novou vlnu stavebního ruchu, ale též rekatolizaci. Rombald XIII. povolal r. 1626 pavlány z Itálie a od r. 1629 jim buduje v městečku klášter. Ten dodnes stojí v blízkosti zámeckého areálu společně s kostelem sv. Karla Boromejského a bl. Juliány de Collalto. Klášter však již neslouží svému účelu – roku 1784 byl zrušen, sloužil jako administrativní a skladové zázemí zámku, později jako manufaktura na výrobu potištěných podšívkovin a kartounů. Dnes jsou zde obecní byty.Barokní přestavba zámku, snad z let 1650 – 1655, proběhla v době Rombaldova syna Claudia. Nasvědčuje o tom i nápis nad římsou bosovaného portálu východního paláce na třetím nádvoří. Claudius získal vzdělání v oboru práva v Lublani a později se stal vyslancem v Itálii, Sasku, Braniborsku a Anglii.

Claudiův († 1661) mladší bratr Antonín František nechal v letech 1672 – 73 vystavět na kopci naproti zámku kapli P. Marie Pomocné (Pasovské) jako poděkování za uzdravení. Kaple byla zrušena po 111 letech (r. 1784) a upravena na dva byty.Podél kaple byly postaveny dvě podlouhlé stavby, které sloužily jako špitál a také jako obydlí pro nemocné a přestárlé ženy ze zámeckého personálu. Dodnes slouží jako byty.Za Antonína Rombalda († 1740) dochází k rozvoji zámecké knihovny a dochází i ke vzniku tzv. Sálu vjezdů. Jedná se o cyklus 11 rozměrných pláten od Karla Františka Teppera z let 1723 – 1724. Cyklus zachycuje vjezdy císařů do Brtnice (1630: Ferdinand II., 1638: Ferdinand III., 1679: Leopold I., 1701: Josef I., 1723: Karel VI.).


Roku 1715 postihl Brtnici mor. Ve zprávě z roku 1716 se mluví o 118 zamořených domech. Zemřelo snad několik stovek obyvatel. Roku 1926 obnovil brtnický Okrašlovací spolek z iniciativy svého předsedy Aloise K. Hoffmanna poutní průvod v historické podobě z 18. století. Za minulého režimu šel průvod naposledy r. 1973, poté až roku 1990 (asi 160 kostýmů). V roce 2010 šel průvod již po devatenácté (233 kostýmů).

Stavební činnost neustala ani v prvních desetiletích 19. století, i když zřejmě s několikaletou přetržkou způsobenou napoleonskými válkami. Na zámku po rozsáhlých stavebních opravách provedených po požáru v r. 1760, docházelo po dobu téměř sedmdesáti let jen k dílčím změnám. Měnilo se využití jednotlivých místností, zřizovaly a přestavovaly se hospodářské prostory, vkládaly se dodatečné příčky. Z velkého množství těchto úprav lze snad uvést zbourání a znovuvystavění v menší výšce polozřícené bašty na východní straně zámku v roce 1818, zřízení klenutých krytých spojovacích chodeb v roce 1835 a hlavně snesení jednoho z rondelů v roce 1837. Podstatnou změnu však prodělal zámecký park. Ten byl v roce 1817 založen v anglickém stylu a byl v něm postaven Dianin chrámek.

U zámeckých budov nastala kvalitativně nová fáze jejich vývoje v roce 1842. Jihlavský stavitel Jan Rathauský postavil v tomto roce nákladem 2 389 zlatých patro nad do té doby přízemním traktem západního křídla středního nádvoří. Budova byla také prodloužena směrem k severu a tak došlo k zastavění dosud volného prostoru někdejšího příkopu. S těmito přestavbami zřejmě souvisí také úprava příčného křídla mezi středním a severním nádvořím. S použitým romantických novogotických architektonických detailů pak bylo upraveno křídlo mezi středním a jižním nádvořím. Tím se v podstatě architektonický vývoj podoby brtnického zámku uzavřel...