Rozsáhlý hrad Pyšolec, středisko samostatného panství, byl vystavěn v 13. století v raně gotickém slohu, jak svědčí jeho dochovaná zřícenina. V pramenech se o něm dozvídáme teprve roku 1350, kdy jej Filip mladší z Pernštejna prodal Ješkovi z Kounic; tehdy byl hrad v sutinách. Při prodeji uzavřel Filip s Ješkem smlouvu o postoupení majetku v případě úmrtí jednoho z nich. Ješek zemřel brzy po koupi a Pyšolec se spolu se vsí vrátil k Pernštejnu. Filip vyměnil v roce 1359 zbořený hrad Pyšolec s územím až po říčku Bystřičku za zboží v Dunajovicích s markrabětem Janem. Markrabě v témž roce získal i podíl, který na Pyšolci náležel Ješkovi z Boskovic. Jako zeměpanské zboží byl hrad obnoven.


V roce 1437 prodal rakouský vévoda Albrecht svůj díl pyšoleckého zboží Janu z Lomnice, který už od něho získal  hrad Zub. V roce 1446 přešlo pyšolecké zboží z majetku Lomnických na Jana z Pernštejna. Tak se stal hrad i okolní vesnice součástí državy Pernštejnů a při ní už zůstal.


Hrad byl znovu rozbořen za Česko-uherských válek v druhé polovině 15. století, jeho zbytky jsou dodnes na prudkém kopci nad údolní přehradou ve Víru. Opevněný areál má tři části. Za prvním příkopem je rozlehlé předhradí, jež bylo obehnáno mohutnými hradbami, které jsou v některých místech dosud dobře znát. Za hradbou, na mírnějším svahu, je příkop, chráněný vysokým valem, na němž bývala patrně dřevěná ohrada. Val a příkop se na předhradí zatáčely nad první hluboký příkop a tvořily druhou obrannou linii hradu. Za předhradím byl strmý hřeben přerušený dalším příkopem, vylámaným ve skále, a za ním se nacházelo druhé, menší předhradí, chráněné příkopem a náspem. Z tohoto opevněného prostoru vedl přes další příkop most k vlastnímu hradu. Ve stěně příkopu jsou dosud patrné opěrné zdi, na kterých most spočíval. Vjezd tvoří obloukové ostění na opracovaných patkách, zhotovených z bílého nedvědického mramoru. Vlastnímu hradu vévodila mohutná věž, jež měla přes 11 m v průměru; stála osamoceně a byla kolem dokola obehnána hradbou. Hned za věží je hluboká, do skály tesaná studně a za ní zbytky vysoké budovy, která byla patrně hradním palácem, spojeným s věží dřevěnou pavlačí. Budova, postavená na úzkém terenním výběžku téměř kolmo k ose ostatní hradní stavby, končila nad příkrým srázem, kde byla její zeď zajištěna mohutným kamenným pilířem.