Le site, dont les plus anciennes fortifications datent des XIe et XIIe siècles, s'élève à une trentaine de mètres au-dessus de la vallée, à la frontière de l'Agenais et du Périgord. Sa situation favorise l'implantation d'une place forte dès le haut Moyen Âge. Des hérétiques, les Henriciens, y trouvèrent refuge et furent assiégés, en 1165 par Jean d'Assida, évêque de Périgueux, qui rasa une partie du château en signe de victoire. Le lieu d'implantation étant étroit (100 mètres de long sur 10 à 15 mètres de large), une partie des remparts est construite sur le vide par un système d'encorbellement. Le donjon est aménagé à l'extrémité du site, au bord de l'éperon rocheux. Le lieu offre un panorama remarquable sur la région.