Le moulin des Tours est construit à la fin du XIIIe siècle, à proximité d'une voie économique très ancienne : la Ténarèze, voie d'échange et de transhumance qui reliait les Pyrénées centrales à la Garonne. Au début du XIVe siècle, il est acheté par la maison d'Albret, et Henri IV, étant devenu roi de France, il passe dans le domaine royal. Situé en amont du pont médiéval à neuf arches, il est utilisé comme château péager. De plan carré de 15 mètres de côté, il est flanqué de quatre tours carrées crénelées, dont la plus haute atteint quasiment les 30 mètres, ce qui lui donne l'aspect d'une forteresse et non d'un moulin.