La tour du Baüs, Baous ou de Baux, doit son nom à la falaise qui supportait la partie sud de l’enceinte de la ville, et le long de laquelle courait la Carrerette (petite rue), actuelle rue de la Grotte. La tour-porte, haute de 13m50, se trouvait au milieu de cette rue, au niveau de l’Hôtel de Rome. Elle servit de prison à plusieurs époques. En 1871, la commune décide de la raser. Le développement des pèlerinages, depuis 1858, rendait difficile le franchissement de la voûte de cette tour-porte par les fiacres et calèches.
Le quartier du Fort avec ses rues et venelles médiévales donnait également accès à cette tour.