Le château de Bayac est bâti à mi-côte sur la rive gauche de la Couze à l'est du village de Bayac. Il ne conserve aujourd'hui des constructions du XIVe siècle que deux tours qui surplombent la vallée, dont l'une crénelée, semblable à un donjon, abrite encore « la chambre de la Reine », Aliénor d'Aquitaine, à laquelle on accède par un escalier en pierre à vis monumentale. L'une de ces tours à mâchicoulis est flanquée d'une échauguette coiffée et encastrée. La tour circulaire du XVIe siècle et le corps du logis construit au XVIIIe puis au XIXe siècle, ont fait perdre à l'ensemble son allure défensive initiale.