Le premier point fortifié au XIe siècle est un donjon quadrangulaire situé à la pointe nord-ouest du promontoire rocheux (à l’extérieur du parc actuel, dans une propriété privée appelée La Capitainerie). L’enceinte médiévale, dont les murs sont
encore en partie visibles, date du XIIe siècle. La tour de Poitiers, tour maîtresse, domine toujours par sa taille cet ancien
dispositif, renforcé au XIVe siècle. Délaissé par les ducs de Vendôme, le château est rattaché à la couronne en 1712 mais n’en obtient pas plus d’attention.
En 1791, la ruine du château est confirmée par sa vente à divers propriétaires. Le cèdre majestueux, planté en 1807, témoigne de son renouveau en tant que parc d’agrément. En mars 2001, l’effondrement d’une tour et d’une partie du mur d’enceinte explique de nos jours la position de vestiges à mi-pente du talus.