Le mur d'enceinte ainsi que la porte avec pigeonnier sont inscrits aux Monuments historiques. Le toponyme (vieux village) suggère une origine antérieure au XIVe siècle et des constructions successives sur le même site. Ses épais remparts, ses tours d'angle à meurtrières et son colombier, qui prend de loin l'apparence d'un donjon, étaient propres à décourager d'éventuels pillards venant de la mer.