Un premier château fort occupait la partie haute de la rue St Nicolas. Détruit pendant la guerre de 100 ans, le château fut alors reconstruit à son emplacement actuel.
Les travaux commencèrent sous Jean II d’Harcourt en 1479 et s’achevèrent 3 ans après sa mort, en 1490. Le château a ensuite subi de nombreuses transformations au fil des siècles.
Au XIXe siècle, Sosthène de La Rochefoucauld décide de le restaurer. Il entreprend de lui redonner son aspect médiéval. Les travaux du château furent conduits par Henri et Louis Parent, architectes.
Le château est situé sur une propriété privée et ne se visite pas.