C’est un petit bâtiment de style Régence, érigé en 1723 -1727 par l'architecte Serin. Il est le seul vestige de l’immense château de Bagnolet. D’abord demeure seigneuriale au 17e siècle, il devient résidence royale lorsqu'il est acquis en 1719 par la duchesse d’Orléans (1677-1749), épouse du Régent Philippe d’Orléans.
Le château est détruit en 1771. Sa dénomination vient des décors intérieurs en grisaille représentant des ermites.