An dieser Stelle stand ein gallo-römischer Tempel, der im 12. Jahrhundert durch die romanische Kapelle Notre-Dame ersetzt wurde (von der heute nur noch die romanischen Bögen zu sehen sind). Die heutige Basilika wurde zwischen 1854 und 1895 von Pater Louis Saulet und seinen Nachfolgern erbaut. Die Basilika erinnert mit den Abbildungen auf den Tympanons ihrer drei Eingangstüren an die Geschichte einer der ältesten normannischen Pilgerstätten, die der Jungfrau Maria gewidmet war. An dieser Stelle befand sich bereits ein gallorömisches Heiligtum, das der Verehrung der Muttergöttin gewidmet war und von Legionären aus Afrika mitgebracht wurde; dies würde die schwarze Hautfarbe dieser Statue erklären. Im 7. Jahrhundert wurde dieser Kult durch einen christlichen Kult ersetzt. Im 9. Jahrhundert verschwand die Statue der Jungfrau während der Wikingerüberfälle. Später, im 11. Jahrhundert, grub eines der Schafe des Barons von Dover beim Scharren im Boden die verschwundene Statue der Jungfrau aus. Um sie zu feiern, wurde eine neue Kapelle errichtet, doch im 16. Jahrhundert zerstörten die Protestanten die Statue der Jungfrau, die dann durch die heute vorhandene ersetzt wurde.