Elle porte ce nom car des panoramas y avaient été établis à l'origine.
Le passage a été ouvert en 1799-1800 à la place de l'hôtel de Montmorency-Luxembourg construit par Lassurance en 1704. L’actuelle entrée de la rue Saint-Marc, en face la rue des Panoramas, était la porte d’entrée de la maison d’origine. Son nom provient d'une attraction commerciale, appartenant à l’ingénieur et inventeur américain Robert Fulton, venu à Paris offrir ses dernières inventions, le bateau à vapeur, le sous-marin et les torpilles, à Napoléon et au Directoire. En attendant leur réponse, Fulton subventionnait son projet de Nautilus grâce à l’argent qu’il gagnait avec une exposition commerciale installée au-dessus de l’entrée consistant en deux rotondes où étaient peints des tableaux panoramiques représentant des paysages de Paris, Toulon, Rome, Jérusalem et d’autres grandes villes célèbres. Lorsque Napoléon, qui s’intéressait peu à la marine, finit par rejeter les projets de Fulton, celui-ci abandonna ses panoramas pour aller offrir ses inventions aux Anglais à Londres.
Lorsque l’armateur américain James William Thayer acquit l’ancien hôtel aux enchères, il trouva par cette attraction le moyen de rentabiliser les lieux. C’est lui qui fit percer le premier tronçon du passage qui prit le nom de « Panoramas » en souvenir des rotondes, détruites en 1831.
La première galerie couverte, au Palais-Royal, avait ouvert en 1786, suivie par le passage Feydau en 1790-1791, le passage du Caire en 1799, et le passage des Panoramas en 1800. En 1800, les emplettes dans les rues sombres, boueuses et bondées de Paris, dont très peu avaient des trottoirs ou l’éclairage, étaient désagréables. Les bazars et les souks orientaux avaient des passages commerciaux couverts depuis des siècles, mais le passage des Panoramas a innové avec des toitures vitrées puis, en 1816, le premier essai d’éclairage au gaz, inventé par l’ingénieur Philippe Lebon, effectué dans ce passage, qui en ont fait un ancêtre des galeries marchandes du xixe siècle et des centres commerciaux couverts du xxe siècle.
En 1834, l’architecte Grisart rénove le passage et crée trois galeries supplémentaires à l’intérieur du pâté de maisons : la galerie Saint-Marc parallèle au passage, la galerie des Variétés qui donne accès à l’entrée des artistes du théâtre des Variétés, les galeries Feydeau et Montmartre. S’y installent le graveur Stern, dont la boutique est inscrite aux monuments historiques, suivi des marchands de cartes postales et de timbres-poste, ainsi que quelques restaurants. Actuellement, la partie du passage proche du boulevard Montmartre est richement décorée, tandis que la partie plus éloignée et les galeries sont plus quelconques.
Au xixe siècle, le sculpteur Jean-Pierre Dantan expose dans une des salles du Passage, dite « musée Dantan », ses petits bustes en plâtre ou en bronze, caricatures et portraits de la société de son temps (dont Talleyrand, Louis-Philippe, Beethoven, Paganini, Liszt, Victor Hugo, Balzac).
Le passage des Panoramas a inspiré la « cour de Paris », galerie marchande située au rez-de-chaussée de la maison Brudern à Budapest. Le musée Carnavalet dispose d’une aquarelle de Georges Cain représentant Le Passage des panoramas (époque du Consulat) où fut fondée la maison Susse frères. Le chapitre VII du roman Nana d’Émile Zola décrit le passage, tel qu’il était en 1867. Anne Cuneo a situé un des romans dans ce passage éponyme (1978).