C’est en 1278 qu’Henri II, comte de Rodez et vicomte de Carlat, se rendit compte de l’avantage que présentait l’endroit pour la défense de la cité. Il acquit la terre et entreprit la construction du Château qui se termina en 1282. Il fit donc bâtir 3 grosses tours séparées, surmontées de créneaux, et des corps de bâtiment rectangulaires à 2 étages, l’ensemble formait un magnifique édifice : une forteresse militaire ! Il subit de très nombreux sièges mais se révélait imprenable.
Malheureusement, au cours d’un épisode douloureux des guerres de religion, un capitaine huguenot, qui se nommait « Gentil », serait parvenu, par ruse, à s’emparer du château qu’il assiégeait en vain depuis plusieurs jours. À court de munitions, il fit creuser des sapes (tranchées sous un mur pour le renverser). Il y fit placer des tonneaux remplis de sable prétendant qu’il s’agissait de poudre ! Les assiégés capitulèrent le
4 septembre 1587 et le château fut condamné au rasement en 1604. Entre 1654 et 1658, le nouveau propriétaire, Henri de Montvallat, fit reconstruire, en partie, le château tel qu’il se présente aujourd’hui. En effet, il reste du XIIIe siècle, l’escalier central, les 2 tours qui ont été restaurées par endroits, et une salle voutée au rez-de-chaussée.
Le Château restera la propriété des De Montvallat durant plus d’un siècle, jusqu’à la Révolution. Il fut vendu en 1796 à Jean-Joseph Saury, officier de santé. À présent, il appartient à une communauté religieuse diocésaine, les Sœurs de Saint-Joseph de Clairvaux et abrite une école primaire privée (l’internat a été transformé en centre d’hébergement).