La dévotion à Notre-Dame d’Alet se développa au XII° siècle suite à une apparition de la Vierge à un laboureur nommé Raymond. La première chapelle vit le passage de Saint Dominique en 1213. Elle fut détruite au cours des guerres de religion puis reconstruite en 1673. De toute la région, les pèlerins arrivaient en nombre, on dut alors agrandir le sanctuaire avec une chapellenie et un cloître. De cette époque datent les remarquables retables baroques du maître-autel et des chapelles secondaires. A la Révolution, le comité révolutionnaire décida de détruire la chapelle mais les habitants du village s’y opposèrent.
Elle fut restaurée au XIX° siècle avec l’ajout du porche d’entrée. La nef fut alors ornée d’un plafond à caissons, d’une chaire et d’un ensemble de vitraux de l’atelier Gesta. En outre, la chapelle possède deux Vierges de Pitié de qualité, l’une de pierre du XVI° siècle de style bourguignon, et l’autre de terre cuite, réalisée au XVII° siècle par Etienne Dugast. Cette dernière était placée à l’origine sur le toit de la chapelle, une copie l’y a remplacée depuis 1996.