Er was overigens een klein kasteel in het centrum van het huidige Lepe maar de aardbeving in Lissabon in 1755 zorgde zelfs in Lepe voor grote schade en van het kasteel was niet veel meer over. De latere Inval van de Franse troepen in 1804 in Spanje zorgde ervoor dat wat re nog stond ook werd vernietigd en daarom is er nu dan ook geen enkel kasteel meer te vinden.
