Au XIIème siècle, la terre d'Aix devient seigneurie épiscopale. Dès lors, les évêques de Troyes viennent séjourner dans leur château-forteresse qui est pillée à plusieurs reprises (guerre de 100ans, guerres de la Réforme,...). De cette bâtisse, il reste aujourd'hui une entrée en appareillage champenois avec les logements des bras de relevage du pont-levis. Joachim du Bellay, ami de l'archevêque Antonio Caracciolo, a séjourné dans ce château. Il y a fait allusion dans sonÔde au Prince de Melphe. Dès le milieu du XVIème siècle, les évêques délaissent Aix et le château se dégrade. Au XVIIème siècle, un bâtiment sans doute édifié par Monseigneur Mallier est visible de la rue Georges Clémenceau. Au rez-de-chaussée se trouvait la salle synodale, vandalisée au XXème siècle par la formation d'appartements. Le long de la rue Foch, entre le château Mallier et le boulevard Sébastopol, une suite de constructions anciennes sont peut-être les anciens communs du château.