Sur cet éperon rocheux, dominait autrefois la forteresse de la famille De Rohan, dont on retrouve la trace dans les archives dès 1127. Le site castral était structuré en trois parties : la haute cour, la basse cour et le bourg aux moines, espace monacal. Le château tombera en ruines au 18e siècle. Les pierres seront alors dispersées lors de la révolution française et une partie servira à la construction de l’abbaye de Timadeuc.