Du nom du célèbre Drômois, général d’Empire et marquis de Latour-Maubourg, cette caserne a été construite au XIXe siècle face au Polygone, vaste espace réservé aux exercices de tir.
Elle accueille le 5e régiment de chasseurs à cheval en juin 1879.
Elle se compose alors d’un bâtiment central pour le logement des soldats, d’écuries docks, d’un manège dans l’axe du quartier et de quatre entités pour l’entretien des chevaux.
Suite au départ des militaires en 1998, elle appartient aujourd’hui à la Ville de Valence et fait l’objet d’un vaste programme de reconversion : réaménagement de la place d’Armes, installation de la médiathèque, des archives intercommunales...