Il a été construit à partir de 1564 par Pierre de Bourdeille, mieux connu sous le nom de plume de Brantôme. Sa construction s'achève vers 1610, quelques années avant la mort de Brantôme en ce château, le 5 juillet 1614, dans la chapelle duquel il est inhumé. Le château que le visiteur peut visiter aujourd'hui a conservé l'identité que lui a donnée Brantôme.