Het vroegmiddeleeuws domein Heldren werd omstreeks 1200 in twee Loonse heerlijkheden gesplitst, nl. 's Herenelderen en Genoelselderen. Godenoel I (+1305), de vermoedelijke bouwheer van het kasteel, werd samen met zijn echtgenote Marula (+1300) in de kerk van Genoelselderen begraven. Tot in 1718, elf generaties lang, zwaaide het geslacht van Elderen onafgebroken de scepter in deze heerlijkheid.
De meest bekende figuur van het geslacht van Elderen was Jan-Lodewijk die tussen 1688 en 1694 prins-bisschop van Luik was. Zijn praalgraf staat in de parochiekerk te kijk.
Sinds 1990 is het kasteel in handen van de familie Van Rennes, die de wijntraditie in de regio (die teruggaat tot de Romeinse periode) nieuw leven inblies. In de wijngaarden worden Chardonnay- en Pinot Noir druiven verbouwd.
Tegenover het kasteel zie je aan de rand van het Grootbos de pas gerestaureerde Sint-Hubertuskapel.