La première occupation humaine du site de Brantôme remonte à des temps forts anciens, ainsi qu’en témoigne la présence de plusieurs dolmens sur le territoire de la commune. Le plus important de ces spécimens est sans doute le dolmen de Peyrelevade.
Ce dolmen est constitué d’une pierre levée de plus de 5 mètres de long, ce qui en fait une des plus grandes du Périgord.