Potomci Viléma z Čachrova drželi tvrz a statek ještě r. 1446. Někdy po tomto roce byl čachrovský statek připojen k velhartickému panství Děpolta z Týzmberka (zemřel 1474) a tvrz, která přestala sloužit jako trvalé sídlo majitele, byla opuštěna a zpustla. Po r. 1541, při rozpadu velhartického panství pánů z Rožmitálu, se stal Čachrov opět samostatným statkem, který připadl Janu Rendlovi z Úšavy. R. 1555 se o tvrzi píše jako o staré, r. 1568 jako o pusté. Obnovil ji až Jan Bohuchval z Hrádku, který čachrovský statek koupil r. 1566 od dcer Jana Rendla z Úšavy. V druhé polovině 18. století byla budova staré tvrze změněna v sýpku, která však vnější původní odobu tvrze nezměnila a poté byl kolem tvrze postaven barokní zámek, který v roce 1933 vyhořel a začátek II.světové války způsobil zastavení oprav a tak byl zámek v roce 1973 díky horlivosti tehdejší MNV bohužel stržen. V roce 1976 nechal tehdejší MNV obnovit původní valbovou střechu, pokrytou dosud šindelem. Objekt byl restituován původnímu majiteli, v současné době je nepřístupný a chátrá.
Z čachrovské tvrze se zachovala její nejdůležitější stavba, obytný věžovitý palác. Má obdélný půdorys a dosahuje výšky pěti podlaží. Jednotlivá patra měla odlišné vnitřní členění, které se jako původní stropy nedochovalo. Přízemí dělila střední zeď na dvě poloviny, samostatně přístupné hrotitými portály.
Do prvního patra se vcházelo hrotitým portálem uprostřed severního průčelí, byla tu střední chodba a dvě postranní místnosti. Stejné dělení mělo i druhé patro, zde prostory osvětlovala velká obdélná okna s kamenným křížem. Každá s místností byla vybavena arkýřovým prevétem. Třetí patro má dochovány stopy po vložené roubené komoře, totiž zeslabenou obvodovou zeď s třemi pyramidálně seskupenými okénky. Roubená konstrukce činila z místnosti nejteplejší obytný prostor celého sídla.
Ze Svojšice pocházeli předci Buška z Velhartic
Podle : Kol., Architektura gotická
web městyse Čachrov