Début XVIIe siècle, le 1er duc d’Epernon, cadet de Gascogne précurseur des mousquetaires, commande ce château qui recevra Louis XIII, Anne d’Autriche, Richelieu, Mazarin et Louis XIV. Il deviendra une prison pour femmes au XIXe siècle.
Le château de Cadillac incarne la toute-puissance de Jean-Louis de Nogaret de la Valette (1554-1642), premier duc d’Epernon. Cadet de Gascogne, il est devenu l’un des favoris d’Henri III. Duc et pair de France, colonel général de l’infanterie, gouverneur de plusieurs provinces, il accumule les charges lucratives. Henri IV incite cet homme puissant à construire un château à la mesure de son rang, loin de la cour. Opposé à Richelieu, le duc meurt en disgrâce, sous le règne de louis XIII. Son ls Bernard, second duc du nom, achève les travaux entrepris.