Domme est à deux pas, au sommet d’un éperon rocheux qui surplombe la Dordogne. Un château fort (assiégé par Simon de Montfort en 1215), dont il reste quelques vestiges, s’élevait déjà à cet endroit. Les remparts sont toujours en place ainsi que les trois portes donnant accès à la ville. La porte des Tours est la plus imposante et la plus visitée en raison de graffitis visibles sur les murs de l’une des salles. D’aucuns pensent que ce sont les Templiers, enfermés en ce lieu après leur arrestation, qui auraient laissé ces traces épigraphiques.