Het kasteel van Tavigny dateert uit de volle middeleeuwen, al bestond het kasteel in die tijd waarschijnlijk slechts uit de slottoren die nu het centrale deel vormt. De kasteelmuren zijn 10 m. lang en 2 m. dik en zijn voorzien van schietgaten. Het domein van Tavigny was oorspronkelijk eigendom van de gelijknamige familie, maar ging al in het jaar 1360 over in de handen van de familie d'Ouren, een machtige feodale familie uit het Groothertogdom Luxemburg. Rondom de centrale toren werd een muur gebouwd met aan elk van de hoeken een ronde toren, terwijl de toren zelf stilaan omgebouwd werd tot woonplaats voor de landsheer. De oorspronkelijk smalle ramen en de schietgaten werden vervangen door grote glasramen in Lodewijk XIII-stijl, waardoor een bijzonder elegant geheel ontstond.(Bron : Maison du tourisme van Houffalize-La Roche)