Ce lieu stratégique, en surplomb de la Garonne, est occupé depuis fort longtemps. Les seigneurs de Castets y sont attestés dès le 12ème siècle. Le principal tenant, au début du 14ème siècle, est Raymond Guilhem de Got, neveu du Pape Clément V. Le 15 novembre 1314, il obtient du roi Edouard II, l’autorisation de construire un château à Castets.
Par la suite, divers personnages, issus pour la plupart des plus grandes familles de la région, sont qualifiés seigneurs de Castets. La coseigneurie semble reprendre ses droits lors du conflit franco-anglais. En 1697, la seigneurie est définitivement acquise par Charles du Hamel. Le château des Got est profondément modifié aux 16ème et 17ème siècles.