Au IXème, Callian est cité dans les actes de l'Abbaye de Lérins. Vaste principauté puis domaine seigneurial, le château médiéval, construit sur un piton rocheux fut la propriété de plusieurs grandes familles de Provence : de Grasse, de Villeneuve, de Raphaélis-Brovès, de Lyle Taulasne dont Joseph-Ignace de Lyle, chef d'escadre dans la Marine Royale de France.
Le château forme un quadrilatère autour de la cour principale où l’on pénètre à pied. Il est flanqué de deux tours rondes des XIIème et XIIIème siècles.
A la Renaissance, de grandes fenêtres à meneaux sont percées sur la façade sud et s'ouvrent sur un point de vue exceptionnel des monts de l'Estérel jusqu'aux Maures.