Le village de Montcaret s’est développé autour d’une importante villa gallo romaine construite vers l’an 300, avec des thermes privés décorés de mosaïques. Elle inclut aujourd’hui l’église romane.
L’histoire de ces deux monuments est intimement liée, les pierres de la villa ayant servi aux moines bénédictins pour construire le sanctuaire à la fin du XIème siècle, après des siècles d’invasions pillages et destructions.
Pour lutter contre les incursions viking, une première tour de guet est bâtie au VIIème siècle au lieu dit « Mont Ravel », mais détruite elle est remplacée par un château fort vers l’an 866.