Natuurlijk zijn ook de grotere culturen zoals de Feniciërs, Grieken en Carthagers hier geweest. Maar de Romeinen waren het die de huidige stad gesticht hebben.. Althans dat neemt men aan dat een Romeinse nederzetting hier op deze plek lag. Het zeer bekende Baelo Claudia hoorde toen hierbij.
De historici geloven dat deze stad vernoemd naar Tarif Ibn Malluk, een Berberhoofdman die Tarik ben Zeyad vergezelde in de overtocht naar het Iberische land vanaf Afrika. Die Tarik ben Zeyad was een Moorse leider die Don Rodrigo versloeg in de slag bij La Janda in 711 en het begin was van de eeuwenlange moslim overheersing in heel Andalusië en welke nog steeds ook in Tarifa een duidelijke stempel drukt op het uiterlijk van deze best mooie historische stad. Het bleef tot maar liefst 13 oktober 1292 in Moorse handen. Toen kwamen de Christelijke legers en veroverden ook deze stad in het Zuiden van Spanje. Toen de Moren de stad belegerden in een poging deze terug te winnen een jaar later werd de zoon van de gouverneur van de stad gevangen genomen en gedood toen zijn vader weigerde de stad over te geven. Hier verloor hij dus zijn zoon mee maar kreeg er de titel hertog van Medina Sidonia voor terug......
