Résidence des Gouverneurs après la démolition du château en 1626.
Antoine Laumet dit Lamothe-Cadillac, fondateur de la ville de Detroit et Gouverneur de la Louisiane, fut nommé Gouverneur de Castelsarrasin en 1722. Il y vécut de 1723 à sa mort, le 15 octobre 1730, et fut enterré dans l'église des Pères Carmes.