Construit par les Princes de Talmont au XVème siècle, Soubise chef protestant s’empare du château en 1622 et y fait construire des forti- fications. Garnison sous Louis XIII, bombardé en 1796 par les anglo-hollandais, racheté par l’Etat en 1835 puis restauré de 1986 à 1994, le château abrite actuellement le Musée de la Mer. La tour fait partie du système défensif du château Saint-Clair. Le premier feu fut installé en 1593. Au XVIIIème siècle, le feu de la Chaume est le seul phare de Vendée. Sa forme actuelle résulte de travaux de restauration opérés de 1857 à 1858. En haut de la tour, superbe panorama de la ville et des marais notamment grâce à une table d’orientation datant de 1911.
La Tour d'Arundel est accessible au public en visitant le Musée de la Mer, d'avril à septembre. Du haut de la tour, une vue exceptionnelle sur la baie des Sables d'Olonne.