Par un temps orageux du mois d'août, Prudence et Pierre Loiseau rentraient le regain.
Leur cheval, tout à coup, s'emballa et fonça vers la carrière proche, Prudence pria la vierge et le cheval s’arrêta.
En remerciement, Prudence et son mari érigèrent en 1833 cette chapelle à l'endroit où le cheval se cabra.