In de buurt ligt nog steeds een Romeinse thermen genaamd Los Baños de la Hedionda. Er word gezegd dat de grote Caesar zelf opdracht gegeven heeft tot de bouw ervan nadat hij  hier een bad genomen had en genezen werd van een kwaal .  De Romeinse stad "verdwijnt" uit de boeken rond de vierde eeuw.

Tijdens de Moorse tijd kwam het dorp op de grens te liggen tussen de Spaanse christelijke koningen en het laatste koninkrijk van Granada. Het dorp duikt ook weer nu in de historie op want in 1361 word er het verdrag van Casares getekend waardoor het weer onder het bewind valt van de Moorse heerser Muhammad V, deze was eerder afgezet maar door het verdrag dat hij sloot met de koning van Castille won hij zijn troon weer terug.  Nadat in 1485 Ronda in handen viel van de Spaanse Christelijke koningen kwam Casares ook onder hun bewind te staan. 

Casares hoort net als Cadiz tot de enige twee die niet veroverd zijn door de Franse legers van Napoleon rond 1811. Momenteel is het dorp een geliefde plek voor toeristen om naar toe te gaan door zijn ligging vlakbij de Spaanse kust