La maison d’Espagne tire son nom de l’un de ses nombreux propriétaires : Jean-François Ignace d’Espagne (1690-1742). Docteur et avocat en droit, Conseiller au Parlement de Toulouse, il est Maire de Castelsarrasin lorsqu’il fait l’acquisition de cette propriété en 1739.
Il érige une magnifique tourelle d’angle carrée, en surplomb, sur trompes coniques sous le coin jumelées sur piles.
Elle est surmontée d’un dôme à quatre versants, couronné d’une lanterne, supportant un pignon.
Au-dessus du portail, était enchâssé un écu de pierre portant les armoiries de la famille d’Espagne.
En 1956, la tour, en très mauvais état, est démolie pour raison de sécurité. Elle sera reconstruite dans les années 2000.