À partir du XIVème siècle, les seigneurs préfèrent le château du Boy plus confortable, tandis que certains habitants privilégient la sécurité de la ville de Mende à la protection des châteaux. La situation escarpée du village, la crise démographique des XIVe et XVe siècles, la grande peste, l’arrêt des conquêtes de territoire peuvent également expliquer l’abandon progressif du site. Au XIXème siècle, seules quelques maisons sont encore habitées et les terres à peine exploitées. Le village-rue est définitivement abandonné en 1930 alors que l’actuel hameau du Tournel se crée le long du flanc ouest de l'éperon.