Le château, actuelle mairie, qui a été un pensionnat religieux au XIXe siècle, est en fait un palais médiéval. Il a été construit vers 1370 par les barons de Castelnau-Bretenoux, puissants seigneurs du Quercy et héritiers de la baronnie de Calmont d’Olt. La façade, côté mairie, a été modifiée au cours des siècles. En revanche, la façade arrière conserve toute son authenticité. Ses deux tours à double étage de défense sont
percées d’archères à étrier, qui sont les secondes plus hautes du Rouergue. L’intérieur du bâtiment conserve encore de merveilleux témoignages médiévaux, dont une charpente à chevrons formant une immense galerie de plus de 200 m² sous les combles.