Aux alentours de 1070, Derrien aurait fait bâtir un donjon en bois avec une palissade sur l’éminence rocheuse qui domine la rivière. Cet emplacement permet de surveiller le pont qui enjambe le Jaudy et de contrôler ainsi le territoire. Un premier château de pierre remplace le donjon dans la seconde moitié du XIIe siècle. La Roche-Derrien devient un lieu d’affrontements durant la guerre de Succession de Bretagne. Détruit une première fois par le duc Jean IV en 1394, puis reconstruit, le château est définitivement rasé en 1420 par l’armée ducale. Il subsiste quelques vestiges des fortifications comme une guérite aménagée dans la muraille et visible au sud de l’éperon rocheux. Malgré les destructions, le tracé de l’ancienne ville close apparaît encore dans le parcellaire de la cité. Aujourd'hui, la chapelle Notre-Dame du Calvaire se dresse à l’emplacement de l’ancien donjon. Construite à l’origine pour l’hôpital Sainte-Anne de Lannion, elle est démontée et vendue peu de temps après son édification, en 1866. Elle est remontée pierre par pierre à l’emplacement actuel.