Dès le Moyen Âge, la présence d’un ermitage est attestée sur ce terrain. L’occupation des lieux dure jusqu’en 1783, date à laquelle décède le dernier ermite. C’est bien de cette origine qu’est tiré le qualificatif actuel du château qui ne s’élève qu’au 19e siècle sous la forme d’une grande maison de maître. La famille Cassart l’agrandit ensuite au 20e siècle.
Occupée successivement par un internat et ensuite par l’occupant allemand en temps de guerre, le bâtiment est racheté par la Ville de Wavre en 1986. À partir de ce moment et jusqu’en 2019, le Cercle d’Histoire, d’Archéologie et de Généalogie de Wavre et du Brabant wallon occupe les lieux. Chaque année, les salles du rez-de-chaussée du Château de l’Ermitage accueillent de nombreuses expositions.
Le parc attenant, réaménagé en 2013 et inauguré en 2014, est dédié à Nelson Mandela, ancien président d’Afrique du Sud et lauréat du prix Nobel de la paix pour son action dans la lutte contre le racisme et les inégalités.