L'abbaye de Saint-Ferme date du VI° siècle. Il s'agit d'un monastère fondé par des moines noirs qui y vécurent du VI° au VIII° siècles, et en furent chassés et remplacés par des bénédictins venus de Saint-Florent-de-Saumur par l’un des quatre chemins de Compostelle, la voie de Vézelay et qui fondèrent en 1080 l'abbaye.