La première pierre du château médiéval est posée au XIe siècle : s’ensuivront différentes phases d’aménagement successives. C’est le prince de Vaudémont qui, dès 1708, remanie le bâtiment pour lui donner l’aspect le plus proche de celui qu’il a aujourd'hui.
Son architecte, Boffrand, réalise les quatre colonnes colossales qui portent un fronton triangulaire inachevé. Les portes s'ouvrent sur un vestibule qui donne accès au grand salon à l'italienne.
En 1749, Héré (architecte du roi Stanislas) construit les ailes basses qui réunissent le château au Fer à Cheval, fermant ainsi l'avantcour. Les ailes basses abritent les écuries, celle de l'Est pour les chevaux de selle, celle de l'Ouest pour les chevaux d'attelage.