Místo soutoku Labe a Úpy, kde předcházela Labe cesta do Kladska, mělo odpradávna sídelní důležitost. Nástupcem slovanského hradiště na západním břehu řeky se stal hrad Jaroměř, založený na ostrohu východně od labského toku.  První historicky doložená zpráva o Jaroměři je datována až rokem 1126, kdy na místě kostela sv. Mikuláše stál hrad, založený přemyslovským knížetem Jaromírem. Jako město je prvně připomínáno v roce 1298 za vlády Václava II., kdy bylo hradiště pravděpodobně povýšeno Přemyslem Otakarem II. na královské město, patřící od roku 1307 manželce Vaclava II. Elišce Rejčce jako věnné město českých královen.


V počátcích husitských bouří stála Jaroměř jakožto královské město spravované německým patriciátem na straně krále a císaře římského Zikmunda Lucemburského. Když však dne 6. května 1421 k městu přitáhla husitská vojska v čele s Janem Žižkou z Trocnova, nezbývalo měšťanům nic jiného, než se po třech dnech vzdát a poté se podrobit věrnosti kalichu. Na straně podobojí stála Jaroměř až do osudné bitvy u Lipan. Dva roky po neúspěšné bitvě se opět poddala císaři Zikmundovi, přičemž ten ji roku 1437 daroval své manželce, královně Barboře. Město posílené za husitských válek se nechtělo vzdát svých privilegií a podrobit se královně, která Jaroměř rozhořčeně zastavila roku 1445 Jiřímu z Poděbrad. V upomínku na příkoří způsobené královně dostala Jaroměř nový znak, místo původní dvojí stupnice musela užívat lvici obtočenou trnovou korunou.


Vlastní jádro tvoří jenom oboustranně obestavěné náměstí čočkovitého půdorysu. Ulice vedoucí k někdejší východní bráně byla zúžena strohou hmotou gotického městského a současně klášterního kostela augustiniánů, budovaného od počátku 15.století. Tvořil součást hradeb, jeho zvonice uzavírá dosud ulici jako městská brána. Původní jádro bylo východně od kostela patrně dodatečně rozšířeno o opevněné předpolí, obsahující jedinou ulici vedoucí k vnější bráně na předměstí.

Východní bránu v Jaroměři zdobí jezdecká socha sv.Václava


V Jaroměři stojí dosud značný počet historických domů, většinou renesačního původu, zčásti i na náměstí se zachovalo podloubí. Barokní štíty přibyly po přestavbě města po požáru v roce 1680. V městě byl postaven první řetězový most na evropské pevnině. Tento most,  který překonával tok řeky Labe. Most býval 41 metrů dlouhý, za prusko-rakouské války v roce 1866 byla jeho mostovka načas rozebrána, aby byl znesnadněn případný postup nepřátelských armád na Vídeň. Prostor mezi vstupními pylony byl velice úzký, takže kočí museli jezdit přes most velice opatrně. V roce 1884 byl řetězový most snesen a nahrazen příhradovou konstrukcí.


Další etapa rozvoje města přišla v druhé polovině 19. století se zavedením železnice. Výstavbu 20. let dokládá např. Wenkeův dům, kde dnes sídlí městské muzeum. V roce 1948 byl k městu připojen do té doby samostatný Josefov.