Situé dans les anciennes prisons de la ville. il accueille diverses collections d'arts et traditions populaires du Rouergue. Cette maison d'arrêt construite en 1838 fut un des premiers bâtiments cellulaires de France. Sa conception représentait un progrès considérable en ce qui concerne l'hygiène, la sécurité et la moralité. Les hommes se trouvaient dans l'aile droite. les femmes dans l'aile gauche, le pavillon central servant de chapelle. À la date de la centralisation des bâtiments carcéraux, la prison fut fermée en 1933. Aujourd'hui, les cellules du premier étage sont réservées au fonds de la bibliothèque du Musée Joseph Vaylet, leur accès est réservé aux chercheurs.