Un premier château fut vraisemblablement érigé au début du XVIème siècle par les Sénard, premiers seigneurs du domaine, donnant leur nom au site. Appartenant ensuite à la famille du Chaffault, il fut détruit au cours des guerres de Vendée. D'un vaste corps de logis regardant le jardin, ne subsistent aujourd'hui que deux tours toujours en place ainsi que les deux plateformes engazonnées.
L'une constitue notamment l'un des plus beaux exemples de carrés en île de Vendée. Ces jardins d'agrément clos de murs et entourés de douves sont typiques des jardins de la seconde moitié du XVIème siècle.
La mise en sécurité du site avec des installations de garde corps, remise en valeur des murs, réaménagement paysager ont été menés récemment afin de préserver les lieux sans les dénaturer.