Les murs et portes entourants Tarifa ont subits des restaurations et des constructions.

De nombreuses colonisations ont laissé leur empreinte à Tarifa, surtout la civilisation arabe qui entoura la ville d'une muraille et construit une forteresse.

On peut diviser l'histoire en deux périodes. La première correspond à la période d'occupation islamique qui inclut la médina millénaire. Ses restes peuvent encore être admirés sur les falaises du Détroit. La Puerta de Almedina est le seul vestige restant de cette période.

Après la conquête chrétienne, la médina s'est agrandie jusqu'aux actuelles murailles, qui furent construites entre les XVe et XVe siècle. De ce second système de défense, il ne reste que la Puerta de Jerez, au nord de la ville.