Le château de Carlux, qui domine le village sur son promontoire, a probablement été construit au XIIe siècle sur des fondations et des structures qui remontent sans doute au Xe siècle. Comme les autres, le château primitif se résumait à une tour de guet ; il fut pris au cours du Moyen Âge dans une tourmente guerrière qui dura plusieurs siècles avec des accalmies et des moments d'exaspération. Lors de votre balade vous aurez de multiples vues sur le château. N'hésitez pas à faire un détour en début ou en fin de randonnée pour le contempler de plus près, voire même visiter l'intérieur de son enceinte qui est souvent ouverte au public.