Le Grand chemin montais (chemin de pèlerinage vers le Mont Saint-Michel) vient du Mans et cette route est fréquentée dès le XIe siècle : les passages vers la Bretagne et la Normandie sont alors soumis à péages et un de ces péages est élevé au Pont au Bray fin 11e ou début 12e siècle. On trouve une chapelle à l'intérieur des fortifications : on suppose donc que la chapelle du Pont au Bray existait à cette époque.
Un des pèlerins les plus illustres est probablement le roi Saint-Louis qui s'est rendu du Mont-Saint-Michel à l'abbaye de Savigny le 20 avril 1252,
La chapelle actuelle, dédiée à la Vierge, a été presque entièrement reconstruite vers 1860 puis restaurée par des bénévoles en 1975.
Remarquer aussi les vestiges de deux croix géminées, balise du grand chemin du Mont Saint-Michel à la sortie de la province du Maine. La légende parle d'une barrique d'argent enfouie à proximité...