Achter de huidige collegiale kerk bevindt zich de Saint-Étiennepoort, een van de belangrijke monumenten van het oude Andenne. Het is traditie om te beweren dat deze poort een van de laatste overblijfselen is van de Merovingische abdij die gesticht werd door Sinte-Begga. In realiteit moet de bouw van het monument eerder gezocht worden in de 18e eeuw. In die tijd lag de Place du Chapitre in een grote ommuurde wijk, die het administratief, religieus en gerechtelijk centrum vormde van de stad. De Saint-Étiennepoort was een van de toegangen om de wijk te betreden, onder meer voor de erediensten.