Le manoir est une ancienne prébende bâtie au début du XVIe siècle par le chanoine du Léon et abbé de Saint-Matthieu.
Vendu comme bien national sous la Révolution, l'hôtel particulier fut acheté en 1825 par l'évêque de Quimper pour en faire un pensionnat ecclésiastique.
Enclos par un portail d'entrée remarquable de style gothique, l'hôtel est percé d'une belle porte ogivale à colonnettes et de larges fenêtres à anses de panier.
Les deux bâtiments en équerre sont séparés par une tourelle polygonale contenant un superbe escalier à vis.