Au XVIIe siècle, l’enceinte fortifiée comportait encore une douzaine de tours ou de tours-portes.
Cette tour, haute de 16m70, est un des rares éléments encore debout. Son entrée, à presque 8m de haut, est située côté ville, sur une façade moins épaisse que les trois autres. L’accès à la porte haute se faisait par un escalier en maçonnerie, dont il reste le soubassement. Malgré l’absence d’éléments caractéristiques, on peut la dater du XIIIe siècle.
La tour de Garnavie, à l’origine tour de Guigne, devait son nom à sa position topographique permettant de surveiller tout le bourg, comme le château, en enfilade, du coin de l’œil. Â l’époque moderne, elle a pris le nom du quartier où elle se trouve. Cette tour, propriété communale depuis l’origine, a survécu à l’urbanisation de la cité. Inscrite à l’Inventaire supplémentaire des Monuments Historiques en 1946, elle a été dégagée des maisons qui l’enserraient pour être restaurée en 1994.
A gauche de la tour de Garnavie, à l’extrémité ouest de l’enceinte, se trouvait la tour du Castillet. Le souvenir de cette tour est peut-être dans le nom commercial de la toute proche pension de famille « Le Castillet ». Une tour semblable à celle-ci, la Bonnette, est toujours présente rue des Espenettes.