Il est fait mention d’un prieuré fortifié dominant l’Isle à cet endroit au VIIème siècle. Celui-ci eut à subir les assauts des Vikings, avant d’être reconstruit aux XIème et XIVème siècles. Mis à mal pendant la guerre de Cent ans, il est à nouveau reconstruit au XVème siècle et résistera aux âpres combats des guerres de Religion. Des arcs romans sont encore visibles à l’entrée de l’édifice, précédant un clocher rectangulaire s’élevant sur un portail gothique.