Initialement situé au cœur de l’Abbaye de Cluny, le Palais Jacques d’Amboise a été édifié à la fin du XVe siècle par l’abbé qui lui donna son nom pour servir de logis à ses hôtes.
Issu d’une des familles les plus influentes de l’époque, il a voulu donner à l’édifice un caractère prestigieux et a donc fait construire un palais avec de larges ouvertures pour que ses hôtes profitent pleinement du point de vue sur l’abbaye et les collines environnantes. L’abbé fait orner les façades avec des décorations d’albâtre, matériau rare et précieux, qui s’apparente au marbre des palais italiens dont il s’inspire. Un choix pratique (la pierre est extraite des carrières de Berzé-la-Ville situées sur le domaine de l’abbaye) et esthétique qui donne au bâtiment un caractère architectural exceptionnel. Cependant, il s’agit d’un matériau fragile qui étant exposé aux intempéries peut facilement s’abimer : des campagnes de restauration successives ont donc donné au palais un aspect plus commun avec le remplacement de l’albâtre par du calcaire. En 1881, le propriétaire du bâtiment en fait don à la commune et le Palais devient alors l’Hôtel de Ville.