Joyau de l'époque Renaissance, cette demeure a été édifiée en 1537 pour Ludwig Scherer, riche chapelier venu de Besançon. Les peintures qui en décorent la façade, attribuées à Christian Vacksterffer, représentent les empereurs germaniques du XVIe siècle, les Evangélistes, les Pères de l'Eglise, des figures allégoriques, et des personnages et scènes bibliques. Son appellation actuelle vient du nom du marchand François-Xavier Pfister, qui en fit l'acquisition en 1841.