Le château des Milandes est construit en 1489 par le Seigneur de Caumont, qui, installé dans l’austère et médiéval château de Castelnaud imagine pour sa femme une demeure de charme grâce à des larges meneaux décorés de vitraux. Il garde cependant des aspects de l’architecture médiévale: tourelles, gargouilles…
Abandonné à la révolution, il se dégrade et connaît au XIXème siècle un incendie.
Au début du XXème siècle, un jeune industriel reprend la bâtisse et l’améliore :de nouvelles tours, des balcons romantiques, et un parc à la française.
Il construit également un chai de style médiéval/renaissance, puis une ferme pour en faire une demeure de rapport.
En 1947, Joséphine Baker amène une notoriété au château en y installant tout le confort moderne ainsi qu’un parc d’attraction, des théâtres, une immense piscine. En 1968 elle doit se séparer du château aujourd’hui ouvert aux visites.