Během druhé poloviny 13. století dochází ke kolonizaci (osidlování)  moravsko-uherského pohraničí  a také v okolí  Pozlovic, zmiňované již k roku 1287. V této době budují páni ze Šternberka  nad obcí Provodov na jenom z návrší skalní hrádek Rýsov, který měl především obranný charakter před vpády Uhrů. Právě vpád uherského krále Matúše  Čáka Trenčianského na Moravu se  mu stal osudným a  spolu s vypálením města Uherského Hradiště došlo k jeho zničení.  Rýsov již nebyl nikdy obnoven.  Šternberkové během let 1333 – 1335 ztrácejí také své sídelní  místo  hrad Lukov a jsou  nuceni rychle hledat náhradu. Tak vzniká na jednom  z výběžků vrcholového hřebene Vizovických vrchů nedaleko vrchu Brda nový hrad Světlov.   I když hrad Lukov vykoupil ze zástavy  moravský markrabě Karel (pozdější český král a císař Karel IV. ) a Šternberkové jsou opět jeho majiteli, první zmínka  z roku 1360 již  Světlovský hrad zmiňuje v držení pánů ze  Šternberka.


O podobě hradu a okolí v tomto období si můžeme na základě nálezů, udělat celkem jasnou představu.  Za prvních Šternberků ve 14. století vzniklo hradní jádro obehnané parkánem a mohutným příkopem a valem. Součástí opevnění pak bylo ještě horní předhradí. Tato část byla vystavěna z lomového kamene.  


V r. 1412 náležely ke Světlovskému panství  také  vesnice Provodov,  Pozlovice, Lidkovice (zanikly),  Luhačovice,  Bojkovice,  Žilín, půl Ústí (zaniklá ves u Bojkovic),  Krhov,  Pitín,  Hostětín a Komňa. Poté co Eliška ze Šternberka roku 1399 přibrala svého manžela Voka z Kravař za spoluvlastníka,  nastaly o vlastnictví hradu spory mezi příslušníky šternberského rodu.  Hrad nakonec  získal  roku 1417 Jaroslav ze Šternberka, který o tři roky později padl pod pražským Vyšehradem.  Od roku 1423 držel hrad král Zikmund, který jej (stejně jako nedaleký Brumov) postoupil své manželce Barboře Celské.  Během husitských válek ani po jejich skončení se lidem ve světlovském panství nežilo lépe. Kastelánem tehdejšího hradního pána Jana ze Světlova byl v té době jakýsi  Mikuláš.  Zbrojná čeleď Mikuláše tehdy plenila v širokém okolí  a podle zpráv měli tehdy  Světlovští  na 300 koní a spolupracovali  s dalšími rotami i na uherském území.  Ve čtyřicátých letech 15. stol.  přešlo zástavní panství  Brumova do rukou pánů z Cimburka, kteří podnikaly své loupeživé výpady do širokého okolí. V jejich službách zde působil jako purkrabí obávaný válečník Pankrác ze sv. Mikuláše, který se stává novým pánem světlovského panství  a v držení má také hrad Sehradice (původně Engelsberg).
V této době  je světlovské panství patrně  hustě zalidněno početnou skupinou obyvatel, rodinami lapků, obchodníky a řemeslníky. Na samotném hradě patrně sídlil  hradní pán s několika nejvěrnějšími bojovníky a ostatní se ubytovali v jeho nejbližším okolí. V té době vzniklo dolní předhradí, osídlena byla rozsedlina severně od hradu. Hlavním stavebním materiálem bylo především dřevo a hlína a některé stavby stály na kamenné podezdívce. Z této doby se také dochovaly nejstarší středověké nálezy  z okolí Brda.


Protože byli moravští stavové bezmocní proti řádění Pankráce ze sv. Mikuláše, odkoupili od něj v květnu 1449 hrady Světlov a Sehradice za 4200 uherských zlatých, jak se píše v kupní smlouvě. Obratem za stejnou  sumu prodali hrad a panství spolehlivému Burjanovi z Vlčnova, jeho strýci Zichovi z Lipiny, Jindřichu Mirkovi z Chlumu  a Mikuláši Bistřicovi z Ojnic a vyřešili tak netradičně vleklý spor.   K světlovskému panství tehdy patřil hrad Světlov, městečko Bojkovice a vesnice Provodov, Krhov , Pitín, Hostětín, Luhačovice, Ludkovice, Pozlovice, Řetechov, Opatovice, Kladná, Žilín a díl Přečkovic.  Sehradské lenní panství obnášelo hrad Sehradice (Engelsberk) a vsi Horní a Dolní Lhota, Sehradice, Nevšová, Rudimov a Krátká. Sehradický hrad byl tehdy na rozkaz moravských stavů rozbořen.

Po vypuzení zbrojných rot ze Světlova po roce 1449 musela asi vylidněná předhradí se zbytky rozpadajících se staveb působit pochmurným, možná až strašidelným dojmem. Další zkáza potom pravděpodobně přišla za vpádu Uhrů o dvacet let později. Do konce 15.století tak asi přežila pouze malá část rozsáhlého areálu.

Kolem roku 1460 se stal hrad pravděpodobně kořistí výbojného lukovského pána Matouše ze Šternberka a rod Šternberků se vrací zpět na své zapomenuté sídlo.  Uherská válka mezi Jiřím z Poděbrad a uherským uherským Matyášem Korvínem, poznamenala celou východní Moravu válečnými vpády, drancováním.  Následky vleklých bojů byly děsivé, zanikla celá řada vesnic, městeček i hradů, z nichž mnohé už nebyly nikdy obnoveny. V této době mění světlovské panství svého pána a kolem  1470 jej získávají bratři Landštejnové jako odškodnění za ztracené statky během uherské války.

Po skončení uherských válek se začala čím dál víc ukazovat nevýhodná poloha hradu Světlova. Stával na samém okraji panství, hluboko v lesích, daleko od důležitých cest.  Bojkovice,  které byly povýšeny na město, se stávaly významným hospodářským centrem panství Landštejnů. Ti se rozhodli vystavět zde nové sídlo ,, Nový Světlov“  a roku 1490 přesídlili do Bojkovic.   Hrad Starý Světlov byl pak ponechán svému osudu. Roku 1517 při prodeji panství Jitkou z Landštejna rytíři Burjanovi z Vlčnova je zmiňován v příslušenství světlovského panství "hrad pustý Starej Světlov".  Stavba hradu je zakreslena také v Mullerově mapě Moravy, což je dokladem, že hrad je stále zachován. Pozůstatky hradu  pak byly součástí světlovského panství až do roku 1945.