Des Grimoard à l'abandon

À partir du XIVe s., Verfeuil est mentionné comme possession de la famille de Grimoard de laquelle est issu le pape Urbain V. Cette famille possédait aussi les châteaux de Grizac (Le Pont-de-Montvert) et de Bellegarde (Saint-Privat-de-Vallongue). Selon les archives, un ordre de démantèlement de Verfeuil est donné par le Gouverneur de la province de Languedoc, en 1586, lors des guerres de religion. Il est possible que le site ait été abandonné avant cet ordre. En effet, les castra ont souvent été désertés dès le XIVe siècle au profit de sites moins escarpés et offrant plus de confort.