Au XIe s., des courants religieux importants entraînent des croyants à rechercher la communion avec Dieu dans des lieux isolés. C’est dans ce contexte que le seigneur de La Trémoille donne son mas de Villesalem à des ermites qui vivent à Fontgombault. La communauté réunit des religieuses et des moines qui vivent séparément sous l’autorité de l’abbesse. Le chevet porte encore les stigmates de la guerre de Cent ans et des guerres de Religion. Vendu à la Révolution il est transformé en bâtiment agricole jusqu’en 1914. Date à laquelle il est classé, puis son rachat par l’état en 1961 met un terme à sa lente dégradation. Des concerts et des visites y sont organisés notamment pendant l'été.