La société Saint-Jacques perpétue une tradition ancrée à Cazères depuis le XIVè siècle. Une confrérie existait à cette époque. A l'intérieur de l'église : buste reliquaire du XVIIe (copie de celui, détruit après la révolution, qui se trouvait à Saint-Sernin). statue dans la chapelle dédiée, croix Darbas (membre de la confrérie) ornée de coquilles. Il existait également des confréries Saint-Jacques au Plan, Palaminy.
Cazères était également sur le passage des pèlerins vers Compostelle. L'hôpital Saint-Jacques assurait leur accueil. Domenico Laffi y passe en 1666 et 1673. Un couple de bruxellois sur le chemin donne naissance à une fille en 1740.