La fondation d’un château sur le site actuel remonte au moins au XIIIe siècle, détenue par la Maison des de Rozet. L’édifice actuel qui a été fortement remanié à la fin du XVIIe siècle et au début du XVIIIe, fut vendu par Guillaume Le Franc à Géraud de Bribes en 1736 et pillé en pleine période révolutionnaire.