Le mura intorno a Tarifa sono il risultato di molte fasi di costruzione e restauro.

Principalmemte si possono prendere in consideraione due tipi di agglomerati. il primo corrisponde al periodo di occupazione islamica, che include la millenaria medina, all'interno della quale si trova a zona a sud della città. I resti di questa parte ancora si possono ammirare presso le scogliere che guardano allo stretto.La porta di Almedina è una bellissima testimonianza di qesto periodo.

Dopo la conquista cristiana, la medina si estese fino alle attuali mura che furono costruite tra il quindicesimo e io sedicesimo secolo. Di questo secondo sistema di difesa solo rimane la Porta Jerez, nella parte nord della città.