Le village fut édifié entre 1253 et 1265. Avant 1268, le bourg était fermé par une enceinte cernée par un fossé profond converti en aqueduc périphérique.
Comme toutes les bastides, Larrazet est construit sur un plan régulier, le village comporte des passages couverts dans des rues bordées de maisons anciennes construites du 16e au 19e siècles, superbes demeures à colombage et pans de bois.
Riche en patrimoine de qualité, l’église St Marie-Madeleine (XVIe siècle) a été bâtie en pierre de taille et arbore un retable baroque en chêne massif de 60 m² de superficie. Réalisé en 1687, sans moulages, il offre un ensemble de scènes, de statues et de décors remarquables. Profondeur et foison des regards, émotion des visages, abondance de détails, font de ce retable une œuvre architecturale baroque de tout premier ordre.
Johan de Cardailhac, en charge de l’abbaye de Belleperche, fit édifier en 1500 le palais abbatial sur l’emplacement de la tour forte. Propriété privée, ce château est en cours de restauration sous l’égide des « Monuments Historiques ».
A voir : Château Jean III de Cardailhac (1265), Eglise Sainte-Marie-Madeleine (1265), Retable baroque en stuc (1687), Pigeonnier, Maisons à colombage et pans de bois, Halle, Couverts