A l’image de nombreux sites religieux, elle possède sa propre légende. Et selon celle-ci …
« Deux habitants de Kergrist, partis faire des moissons dans un pays lointain, auraient été arrêtés, condamnés à mort et enfermés dans une caisse de bois. Pendant la nuit, ils auraient prié Notre-Dame de l’Isle et auraient été réveillés le matin par des voix parlant breton : ils étaient revenus miraculeusement sur le placitre de Notre-Dame-de-L’Isle ».