L'emplacement du château, au pied du massif des Bessillons, est cité dès le XIème siècle. Au Moyen-Age, Pontevès était le chef lieu d’une puissante seigneurie dont dépendait la ville voisine de Barjols. Cité comme Castellum dès 1021, le château est situé sur une éminence rocheuse qui surplombe la plaine. A la fin du XIIème siècle, le village qui l’entoure se protège par une enceinte qui double celle de la forteresse. Mais dès le XVème siècle, les Pontevès s’installent dans leur hôtel de Barjols et vendent le château en 1650.Son nouveau propriétaire, un financier aixois , entreprend son réaménagement complet. L’édifice se compose alors de trois corps de logis flanqués de quatre tours. Du village, on y entrait par une porte qui existe toujours. Au total, une cinquantaine de pièces composent le vaste bâtiment dont 14 chambres, 4 caves, une chapelle et une galerie. Au cours du XVIIIème siècle, le château tombe petit à petit à l’abandon. Le site et les vestiges de l’édifice sont, depuis 1862, propriété de la famille Sabran-Pontevès.