C'est le vicomte de Bézaume, premier seigneur de Duras, qui, en 1137, fait construire le château de Duras, alors simple tour crénelée. Vers 1308, la puissante famille de Goth transforme cet édifice primitif en une imposante forteresse. Au XVIIe siècle, la forteresse perd son aspect défensif et devient une superbe demeure de plaisance.