Une gravure du château au XVIIe siècle permet de visualiser l’ampleur des aménagements commandés par le duc César de Vendôme. Ce dernier fait réaliser une rampe d’accès et une porte d’entrée pour ouvrir le château vers l’extérieur. Des vastes logis construits deux siècles plus tôt, il ne reste que la base des tours qui dominent la rampe.
En contrebas, la rue Ferme constitue l’ancienne basse-cour du château, sorte de couloir de sécurité contrôlé par des portes fortifiées. Les demeures de la rue sont pour la plupart d’anciennes maisons des chanoines de la collégiale du château.