La forteresse (17 tours, enceinte de 800 m de long) est édifiée sur un promontoire de schiste ardoisier qui domine la Maine. Le site est occupé dès l’antiquité du fait de sa position défensive stratégique. Par la suite, les comtes d'Anjou y installent leurs demeures, jusqu'à la fin de l'empire Plantagenêt qui voit le royaume de France conquérir le comté d'Anjou. Louis IX fait construire le château actuel au XIIIe siècle tandis que les ducs d'Anjou le transforment en résidence seigneuriale au XVe siècle. Yolande d'Aragon y donne naissance à René d'Anjou. Au XVIe siècle, à la suite des troubles des guerres de religion, Henri III ordonne la destruction du château, mais seule la partie supérieure des tours est détruite. Il est par la suite transformé en prison, puis en garnison et dépôt de munition pendant la Seconde Guerre mondiale.
Depuis le début du XXIe siècle, il héberge la tenture de l'Apocalypse et est un des sites touristiques les plus visités de Maine-et-Loire.