In de 17de eeuw vestigde de eerste kluizenaar, Geert van Elst, zich hier aan de rand van het dorp. Mogelijk bouwde hij ook de nabijgelegen Sint-Annakapel.
Kluizenaar Jacobus van den Broeck ontving in 1709 een lapje grond van de Heer van Werm en bouwde een nieuwe kluis. Hij begon er een schooltje voor lokale kinderen. Het was ook Jacobus die de kapel van Onze-Lieve-Vrouw van Lorette oprichtte, een kopie van het 'Heilig Huisje van Nazareth' in het bedevaartsoord Loreto (Italië).
De laatste kluizenaar verliet de kluis van Vrijhern in 1905.
In 2009 vierde men de 300ste verjaardag van de kapel. Om dit te vieren werd een schildering aangebracht op het plafond. Je ziet hoe de engel Gabriël de blijde boodschap aan Maria verkondigt. Elke week wordt hier nog een mis opgedragen. Het kapelletje heeft zelfs een eigen orgel.
Te bezoeken: het domein is vrij toegankelijk. Op zondag is de cafetaria geopend.