Le quartier Sainte-Croix se trouve sur la rive droite, accessible par le pont de pierre, unique liaison entre les deux rives. Élément primordial de la cité, animé par un important trafic, notamment portuaire, il est remanié à plusieurs reprises. Le pont actuel est érigé en 1844 lors de la construction du canal. Au XIe siècle, un faubourg se développe en contrebas de la chapelle. Dès le XVe siècle, le prieuré devient une paroisse et prospère grâce à la présence de nombreux commerces, ateliers et activités liés à l’installation de moulins à farine, à tan (cuir) et à foulon (laine).
Ce faubourg traversé par la rue Sainte-Croix, l’ancienne route de Vannes, présente plusieurs maisons de marchands comme celle du numéro 20 datant du XVIe siècle qui a conservé ses étals de pierre destinés à exposer les marchandises.