Construite au début du XVIIe siècle sur un promontoire rocheux, la chapelle est dédiée à Sainte-Barbe, invoquée comme protectrice contre les actes de piraterie, alors fréquents sur cette partie du littoral breton. La chapelle, avec ses murs blancs, servait d’amer, c’est-à-dire de repère visuel pour les navigateurs.
Chaque troisième dimanche de juillet se déroule le pardon de Sainte-Barbe : une procession entre le centre-ville et la chapelle suivie d’une messe.