Au VIIème siècle, Saint-Valbert, alors abbé de Luxeuil-les-Bains, se retira dans une grotte proche de la ville. Son lieu de retraite à été très bien conservé et se visite aujourd'hui gratuitement. La grotte-ermitage a cependant subit quelques modifications depuis la mort de St-Valbert en 670.
Cette grotte devient rapidement un lieu de pèlerinage. C'est une vaste excavation sous un rocher où on peut voir la grand pierre qui faisait office de lit pour le saint. L'aménagement du site et de ses alentours ne sera fait qu'au court des XVIème et XVIIIème siècles.
En 1563, des religieux bénédictins à qui appartenait l'ermitage, décidèrent de construire un campanile à l'entrée de la grotte, puis en 1570 un oratoire et des jardins en terrasses. Une fontaine sera ensuite construite en 1758; elle devait permettre de facilité l'accès à une eau réputée pour sa grande pureté.
Un petit musée consacré à l'art sacré et à l'histoire religieuse locale à également été aménagé dans l'enceinte de l'ermitage.