Villefort a connu les guerres de religion aux XVIe et XVIIe siècles. En 1629, Henri de Rohan fait assiéger la ville. La rue de la Bourgade est incendiée par les Huguenots. Au XVIIe siècle, le bourg est ceint de murailles, qui sont démolies entre 1808 et 1813. Pendant la période révolutionnaire, des blasons rappelant l'Ancien Régime sont martelés, témoignage de la haine envers les seigneurs. Une croix sur la place du Portalet rappelle l’exécution en 1794 d’un prêtre réfractaire de Saint-Frézal-d'Albuges. La Première Guerre mondiale fait de nombreux morts. Pendant la seconde, Villefort est occupé par les Allemands. Cependant, un mouvement de résistance se crée sur le territoire où de nombreux maquis se développent.