Původně pravděpodobně dřevěný hrad byl ve vlastictví českých panovníků. Na počátku 13. století jej přestavěl český král Přemysl Otakar I. z kamene v gotickém slohu. Král Jan Lucemburský prodal Budyni roku 1336 Zbyňkovi Zajícovi z Hazmburka. Za vlády pánů z Hazmburka proběhla ve druhé polovině 15. století velkolepá pozdně gotická přestavba. Tehdy doznal hrad i celé panství největšího rozvoje.
Jan Zajíc z Hazmburka zastával významnou funkci dvorského sudího. Postavil se ale na odpor proti králi Jiřímu z Poděbrad a roku 1469 dokonce podpořil uherského vládce Matyáše Korvína. Proto byl hrad královským vojskem obklíčen, avšak Jan Zajíc z něj stačil uprchnout do Žitavy.
Roku 1551 zde vybuchl sklad střelného prachu, což vedlo k poškození kamenné stavby. Ve 2. polovině 16. století byl přestavěn na renesanční zámek. Tehdejší majitel Jan Zbyněk Zajíc z Hazmburka se však přestavbou natolik zadlužil, že musel celý komplex prodat roku 1613 rodu Šternberků.
V nevelkém arkýři naproti bráně stojícího křídla hradu je asi 1 m vysoká pískovcová socha. Pověst říká, že jistému alchymistovi se v době alchymistických pokusů Jana Zajíce podařilo vyrobit zlato. Jan Zajíc uspořádal na počest tohoto objevu velkolepou oslavu, ze zlata nechal odlít sochy, které následně ukryl v hlubokém podzemí hradu. Poté Jan Zajíc nechal zhotovit ze zlata ještě sochu alchymisty, kterému se povedlo zlato vyrobit, a umístil ji tak, aby střežila přístup k pokladu. Socha, dnes nazývaná Kvasnička byla však několikrát přemístěna. Možná, že právě Vám její pohled napoví, kde poklad hledat
Novým vlastníkem se stal Adam ze Šternberka, který sloučil budyňské a libochovické panství, což předznamenalo úpadek hradu. Za třicetileté války byla celá Budyně dobývána a později i vydrancována Sasy. Po válce sloužil zámek již pouze jako sídlo hejtmana a úředníků.
Roku 1759 za sedmileté války při obléhání města Prusy byl těžce poškozen požárem. V roce 1823 bylo zbořeno východní a jižní palácové křídlo společně s věží. V letech 1900 - 1913 proběhla na zámku zásadní rekonstrukce, kterou umožnili noví vlastníci zámku, rod Herbersteinů. Renesanční interiéry zrestauroval v letech 1908 - 1913 R. Říhovský.
Roku 1945 se stal hrad majetkem města Budyně. Do současné podoby byl potom přestavěn v 70. a 90. letech 20. století. Nejvýznamnější částí zámku je Zlatý sál, ve kterém lze spatřit renesanční malbu erbů a výjevů ze života šlechty v 16. století. Ve 20. letech 20. století bylo založeno v prostorách hradu Jandovo muzeum. Stalo se tak hlavně díky přispění mnoha cestovatelů a soukromých sbírek obyvatel, žijících v okolí města. Za pozornost stojí například vycpanina krokodýla, který sem byl dovezen z Egypta na počátku 16. století panem Zajícem. Naleznete zde také zakládací listinu města Budyně nad Ohří ze 13. století.
Před rekonstrukcí roku 1975 bylo muzeum uzavřeno a přestěhováno do depozitu. Díky aktivitě městského úřadu a nadaci Historické a kulturní dědictví regionu města Budyně nad Ohří se jej podařilo roku 1997 obnovit, avšak s poněkud změněnou expozicí.Dnes zde můžete například spatřit ukázku alchymistické dílny a laboratoře, které se nacházejí v autentických prostorách, kde se skutečně za vlády Rudolfa II. provozovala alchymie. Hrad je chráněn jako kulturní památka České republiky.
Podle Tomáše Durdíka, Encyklopedie českých hradů