L'implantation du château de Tavigny remonte au Haut Moyen Age et n'était sans doute qu'une tour refuge qui forme la partie centrale du château. Ses murs de 10 m de côté ont une épaisseur de 2 m et étaient percés de meurtrières. La seigneurie de Tavigny appartint primitivement à une famille qui en portait le nom, mais déjà en 1360, elle était aux mains des d'Ouren, puissante famille féodale du duché du Luxembourg. Enfermée dans une enceinte de murs, flanquée de tours rondes aux angles, la tour centrale fut peu à peu transformée en demeure seigneuriale. Les étroites fenêtres initiales et les meurtrières furent remplacées par de grandes baies constituant ainsi un ensemble Louis XIII fort élégant. (Source : Maison du tourisme d'Houffalize-La Roche).