La porte Nord dite "porte de la prison" est le seul vestige de l'enceinte originelle. Elle fut construite en 1371 au frais de Gaston III Fébus. Au-dessus de l'arc en ogive, on aperçoit les traces de deux blasons qui ont été détruits. Sur celui de droite, on devine les vaches béarnaises de l'écu de Béarn. Cette porte constituait l'entrée nord de la ville en venant de Pau. Elle a été inscrite à l'inventaire supplémentaire des Monuments Historiques.
Gan est la seule bastide du département à avoir conservé une porte.