La porte de l’Esconge doit son nom au propriétaire de la maison voisine : le sieur d’Esconge. Elle fut également nommée « porte de la Retraite », du nom de l’ancien port situé plus bas. Incluse dans les remparts, elle date du Moyen-âge. Au XVIIIème siècle, une demande du parlementaire Denis de Lansac de faire réaliser une ouverture vers le parc nous permet de déduire qu’elle fut sans doute murée pendant longtemps.