Château-Monastère des Célestins, fondé par le Cardinal Bertrand qui servit de quartier général et de refuge aux catholiques, le couvent des Célestins fut détruit par les Huguenots en 1560, puis reconstruit en 1655.Le château-monastère de Colombier-le-Cardinal existait déjà aux 12ème et 13ème siècles en tant qu'important point de défense et de refuge. Il était en la possession de la famille Malatour-Colombier d'Annonay. L'un des leurs, Pierre de Colombier, Cardinal, Évêque d'Ostie, puis Légat du Pape (c'est à ce titre qu'il couronna l'Empereur Charles IV en 1355) est à l'origine de l'établissement des Célestins au château. Selon son vœux testamentaire, une communauté de religieux Célestins est établie au château à sa mort en 1361. Les armes des Célestins de Colombier, comme celles de tous les Célestins de France, portaient une croix d'or avec un S d'argent au champ d'azur, accompagnée de deux fleurs de lys de même.À l'heure des Guerres de Religion, dans les années 1560, les huguenots détruisent le monastère de Colombier, alors véritable quartier général et refuge des catholiques. Après l'édit de pacification de Nantes en 1585, le monastère est reconstruit presque entièrement en 1655. Puis, l'ordre des Célestins ne se conformant plus aux règles de Saint-Benoît, leur fondateur, est supprimé en 1773. Le château-couvent des Célestins de Colombier-le-Cardinal est alors fermé en 1778.En 1790 les bâtiments du château des Célestins sont vendus comme Biens Nationaux aux frères Monneron. Puis, en 1859, le château et les terrains attenants sont vendus à la famille Barou de La Lombardière de Canson. En 1961 la famille de Canson vend le château et des terres attenantes, à la société Saint-Gobain et en 1982, la société Saint-Gobain vend le château et les terres au syndicat mixte d'équipement de l'Ardèche, qui sont loués à la Fédération départementale des associations familiales rurales.L'édifice est partiellement classé au titre des monuments historiques en 1963.A ce jour le château est une propriété privée et ne se visite pas.