D'après les toponymistes, ce serait ces gorges courtes, étroites et spectaculaires (2,5km de long, 140 m de large et plus de 100 m de profondeur) qui auraient donné son nom à la rivière Calavon qui coule de Banon, sur le piémont de la montagne de Lure jusqu'à rejoindre la Durance à Cavaillon. "Cal" signifie la pierre et le mot celte "Avon" veut dire le fleuve.