La tour de l'Islette fait partie des fortifications, construites au XIIIe siècle en bord du Loir.
A partir du XVIIIe siècle, la tour comme les autres ouvrages défensifs sont délaissés, en partie abattus et réutilisés par les Vendômois.
Au fil des siècles, les nombreuses crues du Loir endommagent les murs d'enceinte et les ponts alors en bois. Près de la tour de l'Islette, le pont Chartrain est ainsi reconstruit en pierre en 1961.