Les premiers peuplements sur ce site s’établirent autour d’un prieuré à une date inconnue. Au 13ème siècle, l’habitat groupé autour du château, près de la rivière, prit le nom de Castelmoron (château des marais). Au début de la guerre de 100 ans, les troupes anglaises du Comte de Derby s’emparèrent du site et le donnèrent au chevalier de Caumont. La seigneurie resta dans cette famille jusqu’au 17ème siècle avant de passer dans les mains de la famille de Belzunce-Castelmoron. Au 19ème siècle, le vieux château fut entièrement transformé par son nouveau propriétaire Félix Solar, natif de Castelmoron, fils d'une famille d'origine juive portugaise. Son architecture nouvelle, comprenant de nombreuses structures en bois, galerie et balcons de style mauresque, prenait son inspiration dans l'Alhambra de Grenade. Le Château Solar, acheté par la municipalité en 1902, deviendra l'Hôtel de Ville.