Bâti au XIVe siècle,le château de Peyraux connaît au cours des siècles suivants de nombreuses transformations. À l’origine, le site qui accueille aujourd’hui le château de Peyraux est occupé par un oppidum gaulois, qui défend le vallon. Au début du XIVe siècle, un château fortifié muni de neuf tours est construit au même endroit. Il appartient alors à la famille Badefols de Peyraux.