Petit village d'environ 300 habitants, situé aux abords de Villefranche, Saint Rémy compte quelques monuments historiques intéressants.
L'église fut bâtie au XIIème siècle et complétée au XVème. La nef fut reconstruite au XIXème siècle. De la construction initiale ne subsistent que le sanctuaire et le clocher. Le château actuel, situé sur une butte rocheuse, domine le village. Il existait déjà en 1281, mais fut remanié aux XVIème et XIXème siècles. L'évêque de Rodez, alors propriétaire, le vendit, dit-on, pour participer au paiement de la rançon du roi François Ier en 1525. Plus tard, il appartiendra à la famille Campmas.