En 1828, Marigny accueille Balzac venu s'inspirer des lieux pour son roman "Les Chouans" ; l'auteur imagine une rencontre entre les chefs vendéens et chouans au château de la Vivetière, dont la description est conforme à Marigny...
Avant Honoré de Balazac, François-René de Chateaubriand séjourna aussi à plusieurs reprises au château, après que sa soeur eut épousé le compte de Marigny (1780). Le romantique l'évoque dans ses "Mémoires d'Outre-Tombe" : "Un château à trois lieues de Fougères [...] agréablement situé entre deux étangs parmi les bois, des rochers et des prairies".
Au dessu de l'étang se dresse la Chapelle Saint-Jacques (1573), dernier vestige du château, ornée des armoiries à l'aigle bicéphale de la famille Harpin (XVIème) et plus haut, la maison presbytérale de la Gélinais (XVème-XVIIème), remarquable avec sa façade en parfait état de conservation et son escalier à demi-hors d'œuvre dans la tourelle circulaire.