En longeant la promenade Saint Yves, le visiteur passe devant la Porte d'Embas, ancienne porte de la ville, construite au XIVe siècle. Cette porte était empruntée notamment par des membres de la Confrérie des Marchands d’Outre-Mer, propriétaires des maisons à pans de bois de cette rue, et qui ont fait fortune avec le commerce des toiles de chanvre au XVe et XVIe siècle. En contrebas, on aperçoit l'arrière du château des Barons, dressé sur son éperon rocheux.