Le Château du Parc Ledoux a été bâti au cours du XIXème siècle, la date précise n’est connue à ce jour. Il remplace un bâtiment qui ne laissa aucune trace. L’édifice possède une architecture néo-gothique.
Dans les années 1930, le béton fait fureur et Mme Ledoux décide de faire démolir le pigeonnier du château afin de réaliser un salon d’apparat, une cheminée moderne, un escalier extérieur et des baies vitrées. Pendant la 2nde Guerre Mondiale, le marchand d’Art Paul Rosenberg a séjourné au château et a entreposé des toiles de valeur. Il fut ensuite occupé par les Allemands, qui firent construire une passerelle sur la façade est permettant l’accès au premier niveau du bâtiment depuis la colline. Cette passerelle servait à l’origine d’accès à l’artillerie aérienne située en haut des « Ciments français ». En 1959, le domaine est racheté par la Mairie de Floirac.