Autrefois à la pointe St-Jacques se trouvait un monastère appartenant aux templiers. Les parties du monastère ont été peu à peu envahies par l’océan qui ronge cette côte schisteuse. Les rochers que l’on aperçoit en mer, à une assez grande distance, faisaient en 1780 partie de la terre ferme. En 1830, Amédée de Francheville relate les récits des anciens, qui se rappelaient y avoir fait paître leurs troupeaux dans leur enfance. La tour de l’église du couvent, ruine imposante d’une belle architecture gothique s’est écroulée dans la mer le 27 avril 1807. Les pêcheurs de Rhuys ont ainsi longtemps parlé d’une ville engloutie sur le plateau de St Jacques sur laquelle ils traînaient leurs filets. Au fond, les lignes crochaient l’église dont on entendait les cloches ... Le ministre de la Marine approuva le 17 mars 1863 la construction d’un môle en maçonnerie destiné à former un port refuge pour les chaloupes de pêche. Ce fut l’origine du port que nous connaissons actuellement.