Ce poudingue (sédiment de roches dures), vieux de 370 millions d’années, a une hauteur de plus ou moins 25 mètres.
Selon la vieille croyance populaire, ces roches auraient, pour la plupart, une origine diabolique.
La légende raconte qu’en ce temps-là, Satan est prêt à tout pour s’opposer au dessein de l'Abbé Ghislain d’édifier l’abbaye d'Usidongue (actuellement Sainst-Ghislain).
Le Diable se met donc en route avec, sur l’épaule, un énorme rocher avec lequel il compte bien détruire l’édifice gênant. Son périple passe par la vallée de la Grande Honnelle où il aperçoit un pauvre qui hère, aux chaussures usagées, chargé d’un grand sac assez encombrant.
Le Diable le questionne sur la distance qu’il lui reste à parcourir jusqu’à Stavelot. Ce qu’il ignore c’est que le pauvre homme est un messager de l'Abbé Ghislain, voire l'Abbé Ghilain lui-même. Ce dernier lui dit venir d'Ursidongue et fait la description d’un voyage tellement long qu’il a usé un nombre incalculable de chaussures, bottes, souliers et sandales qu’il déverse de son sac.
Satan, découragé et dépité, décide alors d’abandonner le rocher au bord de la rivière. Et depuis lors, le Caillou ... bique en Haut-Pays !