L'hôtel de la Croix d'or a été construit de 1619 à 1625.
Il fut une propriété du prince Léopold-Frédéric de Wurtemberg jusqu'à sa vente en 1654.
L'édifice a été attesté comme auberge entre 1662 et 1730.
Il devint par la suite la maison d'un notable local, Pierre-Joseph Beurnier. À sa mort, et selon le testament qu'il a laissé, le bâtiment est légué à la ville et transformé en hospice pour orphelins en 1770. Cet acte a été approuvé par le duc Charles II de Wurtemberg et a servi dans un premier temps à accueillir douze jeunes filles pauvres et orphelines. L'édifice servira d'hospice jusqu'en 1945.
Les façades et les toitures, l'escalier de la tour avec sa rampe en fer forgé ainsi que le plafond peint du grand salon au premier étage font l’objet d’une inscription au titre des monuments historiques depuis le 29 août 1977.