L’Evêque de Périgueux, Frotaire de Gourdon, fait construire vers 980 plusieurs châteaux dont celui d’’Agonac. Au XIIème siècle, le fort se transforme en château avec un important donjon à contreforts plats avec des murs de 2,2m d’épaisseur. Au XV et XVIème siècle lors de épidémies de peste qui touchent Périgueux, il sert de refuge à la cour pastorale. Malgré sa position il souffre des guerres anglaises et est donc remanié plusieurs fois. Ce château est désormais une propriété privée.