Původní dřevěný gotický kostel byl postaven ve 14. století zhruba na místě stávající márnice (písemná zmínka v roce 1353). V 17. století byl přestavěn a rozšířen opatem Tomášem Sartoriem v roce 1672, v roce 1677 byla okolo postavena kamenná zeď. Barokní kostel byl postaven na začátku 18.století vedle původního kostela, který byl rozebrán. Stavbu kostela inicioval broumovský benediktýnský opat Otmar Zinke, majitel pozemku.
Projekt nového kostela vypracoval Kilián Ignác Dientzenhofer, syn Kryštofa Dientzenhofera, "dvorního" stavitele benediktinů. (Kryštof Dientzenhofer projektoval např. kostel ve Vernéřovicích a Ruprechticích, jejichž stavba byla zahájena ještě za jeho života). Základní kámen kostela byl vysvěcen opatem Otmarem Zinkem a položen 8.listopadu 1722 ( ...v této zimě nenapadl žádný sníh a veškerý materiál, jako dříví, kameny a pod. se musely vynášet z bláta...). Stavba však byla připravována již od října roku1720. Kilián I.Dientzenhofer stavbu kostela pravděpodobně i řídil. Hrubá stavba byla dokončena koncem roku 1723. Kostel pak byl vysvěcen k uctění památky Všech svatých 1. listopadu téhož roku a současně byla sloužena mše svatá. Dokazuje to mramorová deska nad vchodem z chodby s nápisem „Honori Omnium SS.(anctorum ) Templum hoc aedificat 1723 O.A.B.“ Kostel pak již sloužil k bohoslužebným účelům ( v té době byla věž vyzděna pouze do výše 12m - v patře věže je vložena pískovcová deska s nápisem IMMR 17243). Stavební práce ale ještě v následujících letech pokračovaly, dokončován byl i interiér. Stavba samotná ukončena v červnu 1726.
Nástropní malba byla provedena až o deset let později (v průčelí kostela nad vítězným obloukem monogram O.A.B. 1736). Přemalba a okna pak v roce 1865 za opata Jana
Nepomuka Rottera. Tato část představuje adoraci Nejsvětější Trojice, pod ní Panna Maria se třemi archanděly, její rodiče, sv. Jan Křtitel a 12 apoštolů.Přemalbu provedl malíř Josef Šrůtek (…1865 …Pre Malovano od Josefa Srutka z Nachoda) jak svědčí český nápis (v německém prostředí!) na listech otevřených knih, které nesou některé postavy na stropě.
Přemalba není příliš zdařilá. Za autora původní fresky z roku 1736 s tématem oslavy Všech svatých byl pokládán Karel Kovář. Přemalba v duchu pololidové fresky zobrazuje vnitroklášterně uctívané osobnosti v zástupu nebešťanů, knížete Boleslava II., fundátora řádu, kde se v úklonu s rukou na prsou objevuje nad svatým Vojtěchem. Vlevo, na části stropní fresky, nad jen omítkou zakrytým poškozeným místem, jsou v řadě zobrazeni s holubicí – Duchem svatým u ucha papež svatý Řehoř I. (Veliký), svatý Ambrož , kníže svatý Václav s praporem a orlicí. Vedle , se šátkem, babička sv. Václava, kněžna svatá Ludmila a svatý Vít s knihou a kohoutem. Vpravo pak je neznámá postava s mluvící páskou na čele (INRI).
Kaple Hvězda dominuje hřebenu Broumovských stěn
Nad vstupem do kostela po obvodu jsou starozákonní postavy, naproti, nad vítězným obloukem svatý Benedikt. Přes sto postav zobrazuje benediktinské světce, západní církevní otce a učitele, české patrony ( např. svatý Václav, sv. Vít, sv. Vojtěch), mučedníky, světice, světce, svaté panny a na závěr vyobrazení tři králové. V rozích stropu pak jsou čtyři evangelisté a mezi nimi teologické ctnosti.
Podle webu obce Heřmánkovice