Stratégiquement placé à l’entrée des gorges de la Cère, entre l’Auvergne et le Quercy, le château fut occupé par la famille de Montal pendant plus de trois siècles, d’où son nom de château de Montal.En 1281, Durand de Montal, seigneur de La Roquebrou, accorde aux habitants du fort une charte de franchise qui détermine les droits et devoirs respectifs du seigneur et des habitants, donnant à ces derniers des garanties sans doute appréciables à l’époque. Il n’y avait peut-être alors que la « tour del Moussou ».
La construction du château actuel s’est faite progressivement à partir du XIVe siècle. La construction achevée avait belle allure avec ses 7 tours, ses deux grands corps de bâtiment de chaque côté de la tour d’escalier, et son chemin de ronde.
A la fin du XVIe siècle, suite au mariage de Rose de Montal avec François de Peyrusse d’Escars, le château a appartenu à cette dernière famille jusqu’à la Révolution, et la baronnie de Montal est devenue marquisat de Peyrusse d’Escars. Le château et son riche mobilier ont été vendus comme Biens Nationaux en 1793, et après 1840 les acheteurs successifs n’y ont vu qu’une source de pierres et de poutres à vendre. La démolition de l’aile Sud a fragilisé le haut donjon qui y était accolé, provoquant son effondrement dans un fracas épouvantable en 1881. Il n’en reste que le pan de mur que vous pouvez voir. Il est inscrit à l’Inventaire des Monuments Historiques depuis 1972 et abrite des expositions pendant l'été : "Au-dessus du volcan", exposition du 13 juillet au 24 août 2024, ouverte tous les jours.