La porte Vannetaise est considérée comme le plus ancien vestige de l’enceinte urbaine bâtie en 1343 par Jean de Montfort, un prétendant au duché de Bretagne.
Liée à la rue qui porte son nom, murée pendant plusieurs siècles et rouverte en 1778 ; suite à la demande et aux frais du chevalier de Sécillon qui a possédé un jardin attenant à la porte.
Le Faubourg Saint-Anne fait face à la porte et est né avec la création de la gare, construite avec l’arrivée du chemin de fer en 1879.