Avec son château (XIVè - fenêtres du XVIè), sa bastide avec maisons à colombages, Palaminy est un village de caractère. Un pont en bois permettait de franchir la Garonne au XIVè siècle. La maison Roucat face au château (fenêtres Renaissance) a pu servir d'accueil (pierre avec représentation d'un pèlerin à l'intérieur). Palaminy se situe en effet sur la voie entre Toulouse et Saint-Bertrand de Comminges. Au XVIIè, il y est fait mention de l'existence d'un hôpital Saint-Jacques. Une confrérie éponyme existe au XVIè et une statue du saint se trouve dans l'église actuelle.