Son histoire est complexe, faite de traîtrises et d’assauts furieux, à l’époque de la croisade albigeoise, d’une relative stabilité du XIIIème jusqu’au début de la guerre de Cent Ans où le château passe d’un camp à l’autre en fonction de l’opportunisme des chefs de guerre .
Mais les Anglais sont définitivement chassés. Du XIIème siècle, sur le plan architectural, il ne reste rien. Du XIIIème siècle datent le donjon carré et la courtine formant éperon.
Tout le reste date principalement du XVème siècle. Brandelis de Caumont reconstruit le château à partir de 1443 ; son fils, François continue l’œuvre amorcée, en mettant le château au goût du jour : deux tours semi- circulaires dotées de canonnières sont érigées dans la basse-cour, ainsi qu’un vaste corps de logis à côté du donjon. La grosse tour d’artillerie sera construite en 1520.