Labrit est le berceau de la puissante « famille d’Albret ». Les Seigneurs d’Albret, ascendants de Jeanne d’Albret, mère d’Henri IV, édifièrent aux XIème et XIIème siècles un château en utilisant les seuls matériaux trouvés sur place : l’argile et le bois. Ce château de terre, classé Monument Historique, est le dernier témoignage de ce que fût leur résidence à Labrit.