Poprvé se připomíná v roce 1341, kdy je uváděn místní vladyka Sezema z Kašovic. Asi roku 1390 byly Kašovice věnem Ofky z Opočna, manželky Jana z Velhartic. Je pravděpodobné. že tvrz byla využívána pouze jako lovecký nebo strážní hrádek. V roce 1428 prodal Oldřich z Rožmberka Menhartovi z Hradce třicet vesnic v okolí Velhartic, mezi nimiž také byly Kašovice.
Když v roce 1565 vložil Jan Rendl z Úšavy do zemských desk zápis o svém majetku v Kašovicích, je místní tvrz u této příležitosti uváděna již jako pustá. Jan Rendl prodal Kašovice ještě téhož roku Václavovi Vintíři z Vlkonic a na Kolinci. V Kašovicích se potom vystřídala celá řada majitelů – například Arnošt Račín z Račína, svobodný pán Jan Heřman Černín z Chudenic, Adam Humprecht Koc z Dobrše, hrabě Humprecht Sigmund Althan, hrabě Bedřich Desfours atd. Až do roku 1848 patřila obec panství hrádeckému, roku 1850 zde bylo 18 stavení a 138 českých obyvatel.
V severním cípu oválného tvrziště stála napříč obdélná obytná budova o třech plochostropých patrech na přízemím, dnes téměř zasypaným. Dochovány jsou zbytky obytné budovy se střílnami, prevéty a velkými sálovými okny v 2. patře
V okolí Kašovic se nalézají pozůstatky po rýžování zlata.
Podle : Kol.: Hrady, zámky a tvrze v Čechách na Moravě a ve Slezsku - Jižní Čechy
Dobroslava Menclová, České hrady