Avant le XIIe siècle, la famille des seigneurs de Cléron succède à la famille des seigneurs de Scey pour contrôler le passage du pont en bois sur la Loue sur la principale « Route du sel » de Franche-Comté (route qui relie Besançon à Salins-les-Bains et qui assure le prospérité de la région au Moyen-Age).
Le château de Cléron est construit en 1320 au bord de la Loue par Humbert de Cléron (vassal du comté de Bourgogne) sur l'emplacement d'un ancien castrum Gallo-Romain.
Pendant la guerre de 10 ans (1634-1644) menée par Richelieu (cardinal et premier ministre du roi Louis XIII) pour tenter de reconquérir le Comté de Bourgogne aux Habsbourg d'Espagne, le village est dévasté une première fois par des mercenaires suédois à la solde de la France en 1639, puis une deuxième fois en 1641 par les Français.
Le château est fortement remanié au XVIIIe siècle tout en conservant ses défenses moyenâgeuses, donjon, mâchicoulis, meurtrières et assommoirs... Il est flanqué d'une tour carrée dite « tour de l'horloge » au XIXe siècle.
Ce château en parfait état de restauration est actuellement propriété privée de la famille de Montrichard.
Les jardins sont ouverts au tourisme pendant la période estivale.