Peyrolade vient du terme occitan « pairòl », le chaudron. Ce serait un souvenir des thermes qui se trouvaient à Daux dès l’époque gallo-romaine.
Au Moyen-Âge, le château était bordé de larges fossés et doté d'un pont-levis. Il était attenant au village lui-même fortifié. L’histoire de Peyrolade est liée à celle du château de Lalo. Peyrolade a notamment appartenu à Monsieur de Turle, coseigneur de Daux avec les Bénédictins de la Daurade de Toulouse, qui étaient propriétaires de Lalo. Un souterrain, en partie comblé de nos jours, reliait Peyrolade et Lalo.
Le dernier seigneur de Daux fut le chevalier Jean-Guy Marie de Lalo, mainteneur des Jeux Floraux et conseiller au Parlement de Toulouse. Il passait ses vacances dans son château de Peyrolade qu’il fit restaurer en 1788. On peut voir sa tombe dans le cimetière communal. Propriété privée, ne se visite pas.