Le château de Hautefort fut assiégé par Richard Cœur de Lion en 1183. Les relations entre Bertran de Born, troubadour seigneur d’Hautefort dont Dante a fait un de ses maîtres en poésie, et Richard furent orageuses, mais se muèrent en amitié lorsque le Roi-Duc lui pardonna et lui rendit son château. Le château actuel est situé sur un éperon rocheux qui domine la commune. Créé sur une période allant de la fin du XVIe siècle à la fin du XVIIe siècle sur les bases de l’ancien château fort, son architecture évoque nettement les châteaux de la Loire.