Au XIIIe siècle, une forteresse médiévale est érigée sur l'ancien site d'un castrum romain au pied de la montagne Sainte-Victoire. Sous le contrôle des comtes de Provence, elle passe ensuite entre les mains de l'archidiocèse d'Aix-en-Provence, puis du Roi René et de ses descendants. Transformé en château au XVIIe siècle par Henri de Clapiers, il devient un marquisat sous Louis XV. Après la Révolution, il change de propriétaires à plusieurs reprises, perdant peu à peu sa splendeur d'antan.