Il devient propriété des Mac Carthy lorsque Emilie de Bressac épouse le comte Robert de Mac Carthy en 1809. Après 1827, leur fils Justin fait transformer le château : d’après l’abbé Vincent, il l’élève d’un étage avec des fenêtres cintrées, remplace le toit par une terrasse et couronne le mur de créneaux. Le château est vendu aux enchères et est racheté par Michel Robichon riche bourgeois d’affaires de la Loire. A sa mort en 1859, c’est Victor Dugas son petit neveu qui héritera du château et fera construire les deux piliers surmontés de créneaux de la nouvelle entrée.Victor Dugas vend le château en 1879 à Fréderic Vogelgesang (riche famille d’origine allemande) négociant en vin de Tain l’Hermitage. Des querelles entre ses héritiers amènent la vente aux enchères du château et du domaine en 1918.L’acquéreur Adolphe Essartial négociant à Valence s’intéresse surtout au domaine dans lequel son fils Paul élève des chevaux de course.En 1935, Samuel Bessy met le château aux enchères, c’est le centre hospitalier de Valence qui l’achète. Après la deuxième guerre mondiale, ce sera un « hospice pour vieillards ».En 1955, les créneaux sont remplacés par un toit. Les besoins grandissant, le nouveau bâtiment de la maison de retraite est inauguré en 1963. Les derniers pensionnaires quittent le château en 1977. Celui-ci restera fermé jusqu’en 1990, date à laquelle M. René Dorier l’achète pour le transformer en appartements locatifs. Les pierres d’origine réapparaissent, les lourds volets en bois sont enlevés.