Celé zděné opevnění města vlastně nikdy nebylo zcela dokončeno. Předchůdkyní Vysoké brány byla tzv.brána Věžní, pravděpodobně stála asi 200 m západněji. V rámci budování nového opevnění bylo místo pro novou bránu zvoleno v nejvyšším bodě hradební linie. Pro větší bezpečnost města a pro lepší kontrolu případného protivníka se měšťané rozhodli vystavět bránu mohutnou a dostatečně vysokou. Zdivo brány dosahovalo 31,3 m a se střechou celkové výšky 46 m.
Stavba byla zahájena r.1518 a zakončena r.1525 omítnutím celé stavby. Stavební práce vedl parléř Vít, ale vzhledem k náročnosti stavby byl vlastní projekt a řízení prací zadán mistru Janu Chocholovi z Prahy. Pravděpodobně pro neshody s rakovnickým představenstvem jej v roce 1521 vystřídal mistr Pavel z Loun.
Věž brány je rozdělena do 5 pater (první klenuté, další zakončené trámovými stropy). Tři spodní patra jsou spojena šnekovým schodištěm. Od třetího patra až na otevřený ochoz stoupá dřevěné schodiště. Páté patro je vyplněno hrázděnou konstrukcí. Na Vysoké bráně najdeme ze stavebního hlediska řadu pozoruhodností. Velmi důmyslně byl zabezpečen přízemní průjezd. Byl chráněn předsunutým předbraním s ochozem a klíčovými střílnami.
Vjezd do předbraní uzavírala dvoukřídlá vrata, vnitřek předbraní vyplňoval příkop, přes nějž se spouštěl padací most. Předbraní mělo být ještě důmyslnější, ale od dalších stavebních prací ze později upustilo. Na západním průčelí se v úrovni 4.patra nachází prevet (středověký záchod).
Výtvarně velmi hodnotný je otevřený ochoz stavby. V rozích najdeme kamenné chrliče v podobě žáby, vepře, lva a měšťana. Ochoz je zvenčí osazen pískovcovými deskami s liliovými kružbami a především znaky řemeslnických cechů. V současné době se na ochozu nachází kopie – originály desek najdeme v lapidáriu Muzea T.G.M. Rakovník.
Společně byly z ochozu při opravách na počátku 20.století sejmuty další prvky – kamenné reliéfy s českým lvem a znakem města, dva ze jmenovaných chrličů a zvon cimbál z roku 1581. Vysoká brána sloužila jako strážní věž – ohlašovaly se odtud požáry, pohyb nepřítele a další životně důležité zprávy. Tyto informace měl za povinnost hlásit branný, jenž měl svůj příbytek v sedlové střeše brány. Ta byla již od počátku kryta břidlicí.
Podle webu muzea TGM v Rakovníku