Construite de 1487 à 1538 par le Cardinal de La Rovère, Évêque d'Agen, la Tour est laissée inachevée à l'avénement du pape Jules II, son cousin. Sur un plan hexagonal, à trois étages avec des tourelles semi-circulaires adossées, on trouve dans ce bâtiment de 33 mètres de haut, les armoiries du Cardinal et celles d'autres évêques ayant terminé sa construction.