La chapelle du château était initialement le siège de la paroisse lorsque celle-ci fut créée par le diocèse, en 1719. Sous sa protection, « au milieu des fleurs et des arbres qu’elle aimait tant », repose aujourd'hui Gabrielle Drouilh (1924 – 1993). Parmi les premières femmes à sortir de l'ENA, elle fut la collaboratrice de plusieurs ministres, dont René Pleven et Simone Veil, tout en siégeant au conseil municipal de Penguily entre 1971 et 1992. Son époux, Henri Froment-Meurice, Ambassadeur de France au Caire, à Tokyo, à Moscou ou encore à Bonn, habite toujours le château aujourd'hui.