Dominant le bourg depuis une butte de 160 mètres d'altitude, le château de Caubeyres est de plan quadrangulaire avec une cour centrale. Il est défendu par des tours sur les angles nord et accessible par un passage d'entrée voûté. L'imposante tour nord-ouest et l'entrée du château datent probablement du XIVe siècle.