Le château a été construit vers 1660 sur des fortifications médiévales, il est inscrit aux monuments historiques. Il révèle les caractéristiques de l'architecture classique française : sobriété, symétrie, ordre, clarté. Son allure est cependant adoucie par les deux petites tourelles rondes accrochées à chaque angle des ailes latérales. Le caveau abritait initialement les cuisines et caves. Après la seconde guerre mondiale, il servit de salle de cinéma ainsi que de club des jeunes. Aujourd'hui, le château abrite l'Office de Tourisme et des salles d’exposition dans ses caves voûtées. Un comité constitué des habitants du village a vu le jour en 2019 afin de proposer un projet de restauration et de réaménagement du Palais des Évêques. Plusieurs propositions ont été émises tant au niveau architectural que culturel afin de donner un sens et une utilité au devenir du château.