La confrérie des Pénitents blancs ou du Gonfalon fut instituée à Chaudes-Aigues, le 12 août 1595, sous l'appellation de "L’Assomption Notre Dame". Jusqu'en 1598, les Pénitents blancs de Chaudes-Aigues se rassemblaient dans la chapelle St-Julien. Ce n'est qu'au début du XVIIe siècle qu'ils firent construire, à l'entrée du faubourg de l'Hert, la chapelle que nous connaissons aujourd'hui. Sous la Révolution, elle devint lieu de réunion de la société populaire. En 1802, les Pénitents retrouvèrent l'usage de leur édifice mais sans autorisation officielle et ce n'est qu'à la Restauration, sous Louis XVIII, qu'ils purent reprendre normalement leurs activités. La confrérie s'éteignit au début du XXe siècle et nous légua, entre autres, le magnifique retable, style Renaissance, datant du XVIIe siècle.