Bâti aux XVème et XVIème siècles sur l’emplacement d’un ancien repaire médiéval du XIème siècle remplaçant lui-même une ancienne habitation gallo-romaine, cet édifice était flanqué à l’origine d’une tour carrée, d’une enceinte à huit tours rondes, d’un donjon et d’une chapelle. Ce château a appartenu aux vicomtes de Grimoard.
De cette famille dérivent plusieurs branches dont les damoiseaux de Grignols et leurs descendances, les Taillefer puis les Talleyrand-Périgord, propriétaires du château jusqu’à la révolution où il fut vendu comme bien national.
Le château vit passer de nombreux personnages illustres : Montaigne y passa une nuit lors de son voyage de retour d’Italie le 29 novembre 1581. Le Chevalier de Lagrange-Chancel, poète et tragédien né au château d’Antoniac à Razac-sur-l’Isle, décrit Mauriac dans son « Carnet de voyages » en 1730. Plus récemment des auteurs célèbres dont Franço