Au Moyen Âge, Villefort porte le nom de Villa Montisfortis, faisant peut-être référence à une ancienne exploitation agricole romaine. Le bourg est alors dominé par un château dont il ne reste plus rien aujourd'hui. Lieu stratégique de péage, ce castrum garde alors le chemin de Régordane depuis les hauteurs du Collet (sortie sud du bourg).