Créé en 1986, il s’inscrit dans une démarche de gestion écologique raisonnée, proscrivant l'usage de produits chimiques et une utilisation à minima de l'eau grâce au paillage et à la plantation d'espèces peu consommatrices d’eau.
Le jardin se situe à l’emplacement de l’ancienne gare de marchandises de Charonne-Marchandises sur le parcours de la Petite Ceinture. Depuis août 2024, une promenade de 600 m, située sur la Petite Ceinture et appelée « Bois de Charonne », vient d’être rattachée au square de la gare de Charonne. Elle s’étend du cours de Vincennes à la rue de Volga.