La poterne de la Brèche est un rare vestige des remparts et un bel exemple de l’architecture militaire médiévale. À l’intérieur, trois arcs abritent l’escalier creusé à même le rocher. Il permettait d’accéder au chemin de ronde de la courtine puis à la place.
La ceinture médiévale de la ville atteignait au XIVème siècle une longueur totale de 1 500 mètres. Il n’en reste que deux portes, Gisquet et Brèche, et deux tours sur le tracé sud. Les remparts ont été détruits fin XVIIIème et début XIXème siècle.