Když v roce 1565 vložil Jan Rendl z Úšavy do zemských desk zápis o svém majetku v Kašovicích, je místní tvrz u této příležitosti uváděna již jako pustá. Jan Rendl prodal Kašovice ještě téhož roku Václavovi Vintíři z Vlkonic a na Kolinci. V Kašovicích se potom vystřídala celá řada majitelů – například Arnošt Račín z Račína, svobodný pán Jan Heřman Černín z Chudenic, Adam Humprecht Koc z Dobrše, hrabě Humprecht Sigmund Althan, hrabě Bedřich Desfours atd. Až do roku 1848 patřila obec panství hrádeckému, roku 1850 zde bylo 18 stavení a 138 českých obyvatel.
V severním cípu oválného tvrziště stála napříč obdélná obytná budova o třech plochostropých patrech na přízemím, dnes téměř zasypaným. Dochovány jsou zbytky obytné budovy se střílnami, prevéty a velkými sálovými okny v 2. patře
V okolí Kašovic se nalézají pozůstatky po rýžování zlata.
Podle : Kol.: Hrady, zámky a tvrze v Čechách na Moravě a ve Slezsku - Jižní Čechy
Dobroslava Menclová - České hrady