A partir de 1809, Napoléon Ier fait reconstruire l’hôtel du Gouvernent édifié à la demande de Louis XVI et
l’affecte ensuite à son fils nouveau-né. L’édifice, réalisé par Auguste Famin, prend alors le titre de Palais du roi
de Rome. Le pavillon central sera coupé en deux dans les années 1830. Le palais accueille le musée d’art et d’histoire de la ville de Rambouillet qui présente une sélection d’œuvres tirées des collections municipales (peintures, objets d’art et jeux de plateaux)
Dans le jardin, s'élève le pavillon du Verger. Construit en 1718 pour le premier valet de chambre du comte de
Toulouse, il deviendra, ainsi que le jardin, propriété du fils du duc de Toulouse en 1727.