Le château ou maison forte de Saint-Martial-Viveyrol, situé à la sortie du bourg non loin de l’église-forteresse dont il serait relié par un souterrain, date primitivement du Moyen Âge, mais est largement remanié, au XVIe siècle puis au XVIIe siècle. On lui adjoint à cette époque, à l’instar de l’église romane, nombre d’éléments défensifs pour protéger le village dont l’influence est grandissante. En effet, le XVIIIe siècle est l’âge d’or de Saint-Martial, qui est choisi comme lieu des foires et des rassemblements seigneuriaux. C’est probablement durant cette période qu’on lui ajoute également ses dépendances : grange, étable, remise, puits et four à pain. Au fil des restaurations, le bâtiment perd sa tour hexagonale, son deuxième étage, sa bretèche de défense et les meurtrières sont bouchées. À présent, l’édifice ne s’élève que d’un étage carré avec un escalier en vis bâti en pierre.