Le château primitif s’élevant au-dessus de l’Oust n’était vraisemblablement autrefois qu’une simple construction en bois. Érigé au début du XIe siècle par Guéthenoc, il est détruit et reconstruit à plusieurs reprises. Dans la seconde moitié du XIVe siècle, Olivier de Clisson, époux de Marguerite de Rohan, renforce le château de neuf tours et d’un donjon.
À la fin du XVe siècle le vicomte de Rohan, à la recherche de davantage de confort, fait aménager un grand logis percé de fenêtres au sein de la forteresse qui conserve extérieurement un aspect militaire affirmé. En 1629, à la suite de la révolte du duc de Rohan, le cardinal de Richelieu fait détruire une partie des murailles et des tours.
Aujourd'hui la famille de Rohan habite toujours les lieux et entretient ce monument hérité de ses ancêtres. Les deux façades de la forteresse font la particularité de l’édifice. Celle qui donne sur l’Oust conserve un aspect défensif, alors que la façade intérieure, présente un ensemble gothique flamboyant qui porte l’ornementation richement sculptée typique de l’époque.