L’histoire de Quinsac est liée au château de Vaugoubert, siège de la seigneurie depuis le Moyen Âge. Il était en 1245 l’une des 22 châtellenies qui dépendait de Nontron. Le château actuel date du XVIIIe siècle, mais conserve une belle tour ronde datant du XVIe siècle. Cette tour est perchée sur une terrasse dominant la vallée de la Dronne.il appartient à la même famille depuis 1907 et est inscrit sur l’inventaire des monuments historiques.