Le village s'organise autour d'une église gothique, cédée par l'évêque de Rodez à l'abbaye de Moissac en 1292, reconstruite au XVème siècle, avec un clocher-porche qui rappelle celui de la collégiale voisine de Villefranche de Rouergue. La famille de Morlhon possédait la seigneurie de Toulonjac au XIIIème siècle, mais c'est la famille de La Valette qui fit élever le château vers 1421. Celui-ci, délabré puis réparé au milieu du XVIIème siècle tomba alors dans le patrimoine des Pomayrols. Entre l'église et le château se trouvait un prieuré aujourd'hui parfaitement restauré et habité.