Le frère Célestin, ermite de Mauriac, décide de bâtir un ermitage pour lui et tout autre ermite désireux de se retirer dans ce lieux propice à l’érémitisme. Il fait faire élever un calvaire et bâtir une chapelle du saint Sépulcre au pied de la croix figurant le sauveur. Le 5 mai 1715, la première pierre de la chapelle est posée et bénite le 14 septembre de la même année. En 1759, l’édifice connaît des réparations portées par confrères pénitents noirs.