Hoch über der Maas und dem Hoyoux gelegen standen hier die ersten Festungsanlagen im 11. Jahrhundert. Im 12. Jahrhundert wurde ein Turm angefügt sowie eine Kapelle im 13. Jahrhundert. Dann folgten, weniger als ein halbes Jahrhundert später, die Türme Antioche und Damiette. Das Ende des Jahrhunderts war gekennzeichnet durch eine beachtliche Vergrößerung unter Jean de Flandre. Das Aussehen der Festung, wie es sich zu Beginn des 16. Jahrhunderts dank Erard de la Marck darbot, ist nur noch auf Gravuren zu erkennen. Die Festung selbst wurde im 17. Jahrhundert modifiziert, einer Epoche, in der ihr andere Forts (Fort Rouge, Picard, Joseph und Le Sart) hinzugefügt wurden. Das dauerte bis zum Beginn des 18. Jahrhunderts. 1715 besiegelte der Vertrag von La Barrière ihre Zerstörung, die 1717 begann.
1818 beschlossen die Niederlande eine Festungsanlage aufzubauen, die zusammen mit Dinant, Namur, Lüttich und Maastricht in den maasländischen Verteidigungsring eingebunden werden sollte. Das erforderte Erdaufschüttungen, um die vier Hauptbastionen, die durch 17 m hohe Kurtinen verbunden waren, aufzubauen. Die Bastionen dienten als Magazine und Unterkünfte für die Offiziere, während die Kurtinen für die Mannschaften vorgesehen waren. Das Fort wurde ab 1834 nicht mehr genutzt. 1849 zunächst politisches Gefängnis, nahm es 1880 wieder seine Verteidigungsrolle auf. Während der beiden Weltkriege diente es erneut als Gefängnis bis 1947, als es zum touristischen Ort und nationaler Gedenkstätte der Résistance wurde.
Unter Denkmalschutz (5. April 1972, Fort von Huy)
Landschaftsschutzgebiet 1. Oktober 1976 (Zitadelle und Mont Picard) und 5. Dezember 1983 (Ausweitung auf Ben-Ahin)