Ce château doit son nom à la déformation d'Escaut en flamand. Construite au XIIIe siècle par le comte-évêque, cette forteresse, qui s'élevait à une quinzaine de mètres de haut, était une menace pour la population locale prompte à se révolter pour obtenir les libertés communales.
Situé en dehors des fortifications, ce château de plan polygonal à cinq pans et six tours bénéficiait de trois niveaux de défense. En effet, non seulement ce château possédait un traditionnel chemin de ronde, mais également un dispositif de gaine unique en son genre. Ses doubles galeries, inscrites dans l'épaisseur de la muraille, étaient régulièrement percées d'embrasures de tirs. Elles permettaient d'assurer le flanquement des abords immédiats, des fossés et de la campagne plus éloignée.
Réalisé en grès et bénéficiant d’inondations défensives, ce château n'était pas la résidence de l'évêque, mais était sa marque du pouvoir. Son emplacement stratégique permettait également de contrôler le cours de l'Escaut, la surveillance de la route des Flandres et le paiement de la dîme relevant des sept moulins appartenant au comte-évêque.
A partir du XIVe siècle, ce château sert de prison. Les prisonniers enfermés dans la gaine inférieure ou dans les tours, ont laissé de nombreux graffitis gravés sur les parois de pierre. Cette collection de graffitis est la plus impressionnante d'Europe.
Au XVIe siècle, ce château est transformé en bastion. Écrêté et émotté, il est englobé dans les fortifications pour être transformé en terrasse d'artillerie. Sur son rempart, on construit en 1786, de vastes bâtiments en brique et pierre qui deviendront un hôpital militaire aujourd'hui transformé en palais de Justice. Il surmonte la porte de Selles, couloir voûté permettant de traverser le rempart.