Lorsque vous sortez de la pousterle (petite ruelle étroite médiévale), vous arrivez sur la place qui constitue le centre de la ville fortifiée.
A gauche, l'emplacement de l'ancien château détruit au siècle dernier, il n'en reste que le pilier à l'angle de la maison n° 11 de la rue du château. Il s’agit de la base du portique du château comtal, victime de l'érosion du temps. Les comtes et les ducs d'Armagnac s'y rendent pour administrer les affaires de la région.