La seigneurie de Gussignies était possédée au xve siècle par la Maison de Haynin10 et au xvie siècle par la famille de Cordes11.
Le château féodal de Gussignies a disparu; le château actuel date de la fin du xviiie siècle, lorsque le Comte de Fourmestraulx fait construire un pavillon de chasse constitué d'un couloir desservant des boudoirs (tradition orale), origine de l'actuel château12.
Au début du xixe siècle, Anthime-Hyacinthe de Fourmestraulx établit une scierie de marbre en bas du château, le long de l'Hogneau, et exploite une carrière13.
Le comte Anthime Hyacinthe de Fourmestraulx Saint-Denis a eu deux filles qui se partagèrent le château : Mathilde (1809-1894) épousa Bertrand Delpoux de Nafines et Zoé (1817-1885) épousa le comte Anne Philippe Picot de Moras. Le château, était en mauvais état et trop petit pour accueillir les deux familles. Il fut transformé en 1865. À la mort de la comtesse Picot de Moras, le château représentait une part trop importante dans le partage et dû être vendu. Le Vicomte de Lourmel du Hourmelin l ’acheta en 1887 et à son tour le vendit en 1912 au Comte Édouard Le Mesre de Pas pour sa fille Marie-Thérèse, épouse de René de Witte14[source insuffisante].
Le château actuel est la propriété de la famille de Witte depuis 1912. Yves de Witte (théologien) et son épouse Renelde Nolet de Brauwere van Steeland reprirent la propriété en 1977 suivi l'année suivante par son frère Jacques-Antoine (avocat) et son épouse Thérèse Delvaux de Fenffe. Leur père, Bertrand de Witte et son épouse Marie-Simone de la Kethulle de Ryhove, s'installèrent dans les dépendances du château.