Le château de Coly fut construit au XIIe siècle, sur ordre de l'abbé de Saint-Amand. Bien fortifié, il défendait l'entrée du vallon qui mène à l'abbaye. Il n'en reste aujourd'hui que des vestiges constitués d'une enceinte centrale bien conservée avec une maison forte couverte en lauze et d'une seconde enceinte dont il subsiste deux tours reliées par une muraille, une salle voûtée en bon état et les murs du corps de logis.