Les Révérends Pères Carmes s'implantent à Castelsarrasin en 1281 et édifient un couvent, une église et un cimetière. Devenu bien national à la révolution, la commune acquiert le couvent le 29 mai 1791. En raison de sa situation centrale, elle envisage d'y établir sa Mairie. L'église, le cloître, les dortoirs et le réfectoire sont ensuite vendus au Département pour y construire les prisons, la gendarmerie et le tribunal. Les seuls vestiges sont le clocher (XIVe siècle) et un portail (fin XIIIe siècle), entrée de l'actuel espace Paul Descazeaux.