Il ne se visite que lors d’une journée portes ouvertes à Pâques. La congrégation des Petites Soeurs des Pauvres a été fondée par Jeanne Jugan. La congrégation a acquis en 1856 l’ancien manoir de la Tour. Elle l’a transformé complètement pour l’adapter à ses besoins et a construit les bâtiments actuels et l’église dédiée à St-Joseph (consacrée en 1868). La Tour St-Joseph abrite la maison-mère de cette congrégation.