La seigneurie de Vieux-Waleffe appartint à des lignages de laïcs dont les premiers membres portèrent le nom du village. Le premier château fut sûrement une tour bâtie sur une motte dont les restes subsistent en bas de versant. Plusieurs lignages nobles dont les de Bourgogne détinrent la seigneurie et le château.