Fondé en 1670 par les Ursulines de Ploërmel, le couvent est tenu pendant plus d’un siècle par les religieuses jusqu'à leur expulsion à la Révolution. Entre 1828 et 1866, l’édifice est transformé en noviciat par les Frères de l’instruction chrétienne, dispensant aux futurs prêtres un enseignement novateur, inspiré des écrits de Félicité de Lamennais. Au cours de ces années, la chapelle communautaire est agrandie. Durant la Première Guerre mondiale elle sert de clinique pour soigner les blessés avant d’être restaurée par les Augustines en 1931 qui transforment l’établissement en pensionnat. En 1944, la communauté a caché des parachutistes alliés en les habillant en religieuses, acte de résistance qui a valu, à la supérieure générale, Mère Yvonne-Aimée et à sa communauté, d’être décorées.