Edifié dans le courant du XIIIe siècle pour protéger le prieuré et la communauté de moines y vivant, le rempart est particulièrement visible depuis le passage du lavoir. Il protégeait un espace assez réduit, qualifié de « château » dans les archives, et qui, outre les bâtiments monastiques, renfermait l’église paroissiale Saint-Jean-Baptiste, un cimetière ainsi qu’un petit nombre de maisons. La construction du rempart urbain au milieu du XIVe siècle rendra cette première ligne de défense inutile.