La tour de guet du XIVe siècle est le seul reste d'un château féodal du XIIe siècle
Le château a été pillé par des reîtres en 1569, et l'armée du duc de Mayenne est passée par Chavagnac en 1588. Le château, ainsi qu'une grande partie de l'église voisine, ont été détruits avant la Révolution par un incendie.
La tour couronnée de mâchicoulis, haute de 25 mètres et large de près de 8 mètres.