Le château de Fayrac n’est au XIIIème siècle qu’une maison forte. Mais au XIVème siècle en pleine guerre de Cent ans, Fayrac devient un avant poste du château de Castelnaud qui a pris le parti anglais face à Beynac qui a pris le parti des français.
Un châtelet d’entrée avec pont levis donnant sur la cour intérieur est rajouté au XVème siècle, et un logis au XVIème siècle.
Pendant les guerres de religion, le château sera tenu par les protestants avec Castelnaud,Beynac et bien d’autres châteaux de la vallée.
A la Révolution, les propriétaires du château ont émigré. Il est donc saisi comme bien natinal et vendu.