Die Stadtmauern von Tarifa sind das Produkt von verschiedensten Bau- und Restaurierungsphasen.

Die wichtigkeit von Tarifa als Garnisonstadt zur wiedereroberung von Gibraltar, welches vormals den Briten unter dem Vertrag von Utrecht zugestanden wurde, war sicher die wesentlichste dieser phasen.

Prinzipiell können zwei Layouts unterschieden werden. Die Erste Phase entstand während der Islamischen Besetztung und beinhaltet die Medina und den südlichen Teil der Stadt. Reste von dieser Bauphase können noch auf den Cliffs Richtung Süden gefunden werden. Das Tor "Almedina" ist das einzige aus dieser Zeit.

Nach der Christlichen Rückeroberung wurde die Medina bis zu grösse der heutigen Stadtmauern ausgebaut, welche im 15. und 16. Jahrhundert gebaut wurden. Von diesem zweiten Verteidungsbau verbleibt nur noch die bekannte Puerta de Jerez am Nordende der Altstadt.