Le Comte Jules de Polignac, administrateur de la compagnie du chemin de fer, obtient de la ville, en 1865, la vente d’une parcelle du glacis du fort et le droit d’y construire une belle maison de style néo-mauresque en récupérant les pierres des ruines du fort.
Classée aux Monuments historiques.