El castillo –y luego, la ciudadela–, empezaron a construirse en el siglo XII, en esta estribación rocosa que pasó a llamarse «Roche Forte», y que dio nombre tanto a la familia «Rochefort» como al lugar.
En el siglo XIV, la familia Rochefort quedó sin heredero, y se unió por matrimonio a la familia Rieux. El lugar y el castillo feudal pasaron a ser propiedad de los Rieux Rochefort, y fue precisamente durante su reinado –en especial, el de Juan IV– cuando la ciudadela comenzó a prosperar. Aunque, al igual que otros señores bretones, Juan IV se opuso a la anexión de Bretaña por parte del Reino de Francia, el rey Carlos VIII resultó victorioso en la batalla de Saint- Aubin du Cormier y derribó algunos castillos bretones, entre ellos el de Rochefort. Sin embargo, Juan IV era el tutor de Ana de Bretaña que, al casarse con Carlos VIII y convertirse en reina de Francia, concedió al señor de Rochefort una dotación de 100.000 escudos de oro. Juan IV utilizó dicho capital para reconstruir el castillo, rodearlo de fortificaciones más resistentes y traer canónigos a la iglesia. Durante la Revolución Francesa, el edificio quedó destruido. A principios del siglo pasado, el pintor americano Alfred Klots adquirió sus ruinas y transformó sus antiguas dependencias en una lujosa vivienda.
Siga recorriendo las murallas y descienda por los escalones hacia el Antiguo Burgo (Vieux Bourg).