L'origine de la chapelle remonte au Moyen Age. Il s'agissait alors de l'église du castrum de Miravaux, implanté sur le versant sud de la colline. Au fil des siècles, l'appellation de Miravaux devint Miremer, celle qui regarde la mer. Sans doute dès le XVIIIe siècle se développa un pèlerilage qui continue d'être célébré chaque année le 8 septembre, le jour de la Nativité de la Vierge. A l'intérieur de la chapelle a été replacée une collection d'ex-voto, du XVIIIe au XXe siècle, qui témoignent de la dévotion envers la Vierge.
A découvrir sur le site: le conservatoire de figuiers de Miremer, plantation de figuiers en terrasse.