Edifiée au XVe et au début du XVIe siècle, elle fut presque entièrement reconstruite en 1878.
Placée sous la protection de Sainte Marguerite d'Antioche, la chapelle fut cependant fort longtemps fréquentée par les mères et les femmes de marins qui venaient y invoquer la sainte mais aussi Notre-Dame d'Espérance, particulièrement vénérée des gens de mer qui la célébrait au 15 Août.
C'est également dans cette chapelle qu'étaient déposés les corps des naufragés retrouvés dans les eaux de la Penzé ou sur les côtes avoisinantes.