L'agglomération de Saint-Valery est composée de trois entités : la ville haute, la ville basse appelée La Ferté où se trouve le port, et le quartier de l'abbaye en prolongement de la vieille ville.
La vieille ville ou ville haute a gardé en partie son aspect médiéval avec ses rues étroites, deux portes fortifiées, les remparts et l'église Saint-Martin.
Constitué de maisons étroites qui descendent vers le port, le quartier des marins de Saint-Valery s'appelle le « Courtgain ».