Le château médiéval a été plusieurs fois modifié au gré de ses propriétaires, depuis les Maingot jusqu’à nos jours. Les Maingot sont les premiers seigneurs à habiter ce logis, ils jouent un rôle politique tout au long de leur domination. Au XIIème siècle, le château comptait 24 tours identiques à celle de la « Tour Hélène ». Il reste encore l’enceinte édifiée au XVIème siècle. Elle protège des bâtiments seigneuriaux du XVIIIème siècle ainsi que l’Église Notre-Dame. Le château du XVIIIème siècle est construit par François de la Rochefoucauld, fils cadet de Charles François, marquis de Surgères. L’année 1832 marque la fin de la dynastie des seigneurs de Surgères, le château est acheté par le barron Couppé. Il est ensuite vendu à la ville de Surgères en 1856.