Het vroegmiddeleeuws domein Heldren werd omstreeks 1200 in twee Loonse heerlijkheden gesplitst, nl. 's Herenelderen en Genoelselderen.
De heren van 's Herenelderen, de familie van Hamal, bewoonde deze waterburcht vanaf de 13de eeuw tot in 1501. Nadien ging het kasteel over in de handen van de familie de Renesse. Verschillende leden van beide families zijn begraven in de Sint-Stefanuskerk. De kasteelhoeve strekt zich uit langsheen de Sint-Stefanusstraat en is voorzien van twee hoektorens.