Les remparts représentent le vestige le plus ancien. D’après l’abbé Vincent (prêtre à La Vache de 1851 à 1866) « le village était protégé par sa position topographique entouré alors d’une ceinture de murs épais, flanqués de tours de distance en distance et allant se relier à un formidable donjon qui s’élevait au sommet du coteau ». Ce sont donc les restes du mur d’enceinte du premier château avec une de ses tours.