Le château est un des bâtiments du XVIIe siècle de l'ancien couvent de Fontaine-les-Nonnes. Une abbaye fontevriste y fut fondée en 1124 par Pétronille de Chémillé, première abbesse de l'abbaye de Fontevraud, dans le Maine-et-Loire. Une communauté de religieuses vint alors s'y installer pour vivre selon des règles inspirées de la pensée de Saint-Benoît. Des terres furent acquises et l'abbaye prit rapidement de l'ampleur. Un incendie ravagea ensuite les bâtiments en 1215. A l'époque, c'est Guillaume des Barres, seigneur d'Oissery qui finança la reconstruction. Guillaume III des Barres, grand chevalier de son temps connu sous le titre de "Brave des braves", s'illustra dans de nombreux combats aux côtés du roi Philippe Auguste, qu'il sauva lors de la bataille de Bouvines. Après ses nombreux exploits militaires, il se retira au prieuré de Fontaine-les-Nonnes dont l'une de ses filles était prieure. Il mourut et fut inhumé dans la chapelle. L'abbaye connut par la suite les pillages des Anglais pendant la guerre de 100 ans aux XIVe et XVe siècle mais fut relativement épargnée lors des guerres de religion au XVIe siècle. Les religieuses furent expropriées en 1792. Le château est aujourd'hui une propriété privée.