Au XIIe siècle, la seigneurie d’Elven est divisée en deux. La seigneurie de Rochefort est alors créée. Un château est implanté au sommet de l’éperon. Un pan de mur du XIIe siècle, à l’entrée du château, renvoie vers ses origines très anciennes. Ce premier château est rasé en 1488, à la suite de la bataille de Saint Aubin-du-Cormier près de Rennes. Charles VIII, roi de France, ordonne la destruction du château de Jean IV de Rieux-Rochefort, maréchal de Bretagne vaincu. Toutefois, Anne de Bretagne, pupille de ce dernier, finance sa reconstruction.
Au milieu du XVIe siècle, Claude, héritière des Rieux-Rochefort, épouse François de Coligny et décide de convertir les Rochefortais au protestantisme. Le château est incendié sur ordre du duc de Mercœur, fervent défenseur du culte catholique. Le logis est restauré au début du XVIIe siècle par le comte de Larlan, président au Parlement de Bretagne. Une troisième destruction survient lors de la Révolution, en 1793.