Cette tour circulaire, vestige du fief seigneurial du Cayla au Moyen Âge, assurait le guet en amont et aval de la rivière Aveyron.
Ce château fut occupé par les anglais lors de la guerre de Cent ans, ces derniers contrôlaient le passage du pont du Cayla. Il s'agissait d'un lieu stratégique pour le contrôle de la route marchande passant par le pont du Cayla.
L'église dédiée aux saints Abdon et Sennen est aujourd'hui démolie. Selon la légende, la cloche aurait été jetée dans la rivière au moment des guerres anglaises.