La chapelle N.D de Quelven fut construite au XVe siècle pour remplacer une chapelle antérieure déjà très fréquentée par les pèlerins: c'est un haut lieu de pèlerinage sur le chemin de Saint Jacques de Compostelle.
La seigneurie de Rimaison , en Bieuzy Les Eaux, dont dépendait Quelven, serait à l'origine de cette construction, mais également les familles de Rohan, De Rieux, De Kerveno et Fournoir. On a aussi eu recours aux nombreux dons des fidèles, et aux taxes levées sur les foires importantes qui se déroulaient à Quelven. Malgré sa taille importante, la chapelle ne suffisait pas à accueillir la foule le jour du grand pardon : c'est pourquoi "la Scala Sancta" à double rampe, a été édifiée en 1738 à l'extérieur. A la fin du XIXe siècle, Quelven comptait 280 habitants.