Édifié au XVIIIe siècle, cet hôtel particulier, par la grande qualité de son architecture et le raffinement de ses balcons de ferronnerie, témoigne de l’enrichissement de la ville grâce au commerce de la toile. La famille Veillet-Dufrêche a fait fortune au XVIIe siècle grâce à ses relations avec l’Espagne. Elle fournit l’Armada espagnole en toiles de voile pour les navires. Les hautes cheminées de l’édifice ainsi que son aspect général rappellent les malouinières, maisons d’armateurs de Saint-Malo dont le port est le plus actif dans l’exportation des toiles bretonnes à l’étranger.