Saint-Izaire est un village fortifié dont l’histoire est indissociable de celle de son château épiscopal, résidence d’été des évêques de Vabres. Mentionné dès 862, le village s’enferme peu à peu dans des remparts au XIIe siècle, pour protéger ses habitants des guerres féodales.A la fin des guerres de religions, avec le retour de la paix, cette enceinte a perdu son rôle de fortification, elle a été percée de fenêtres, les portes fortifiées ont été démolies pour le passage des charrettes ou pour agrandir les maisons voisines. Le tracé des rues, ruelles et maisons est inchangé depuis le Moyen-âge, et dans certaines rues on peut encore voir de très belles façades et fenêtres du XVème siècle.Les rues, ruelles et façades médiévales, dont certaines datent du XVe siècle, confèrent au village un charme historique intact.