Le site perché et fortifié de Saint-Ponçon, anciennement Oze la Vieille, était habité au Haut Moyen-Âge, comme en attestent certaines traces d'aménagements (terrasses, seuil de porte). À moins de 300 m de ce rocher, au sud, s'écoule une source, à l'emplacement d'un récent glissement de terrain, qui alimentait vraisemblablement le village perché. Malgré ces atouts, le rocher est abandonné entre les XIe s. et XIIIe s. pour de nouvelles seigneuries, plus proches des terres cultivées.