Le hameau de Saint-Rémy, dans l’ancienne commune de Bleid, dépendait autrefois de la seigneurie de Latour, certainement depuis le 12e siècle. Le village est affranchi à la Loi de Beaumont en 1312 mais aucun seigneur n’est connu avant le 16e siècle. La seigneurie passe ensuite entre diverses mains jusqu’à la fin de l’Ancien Régime. De l’ancien site castral ne subsiste qu’une tour. Le château avait été construit en 1655 par le seigneur Martin Piedmont comme l’indiquent les ancres présentes sur la façade d’entrée et que l’on peut encore observer sur d’anciennes photographies. Au 18e siècle, le bien entre dans les possessions de la famille de Capitaine puis aux de Laittres par mariage. En 1805, le château échoit aux Gerlache de Gomery, importante famille de la région déjà propriétaire d’un château à Gomery. En 1905, les frères marianistes fuient la France pour échapper à la loi de séparation entre l’Église et l’État. Ils arrivent à Bleid et achètent le château afin d’y installer un établissement scolaire. Un nouveau bâtiment abritant classes et dortoir est construit. L’école est par la suite transformée en home jusqu’en 1952, date de la démolition du château pour cause d’insalubrité. De celui-ci subsiste une tour quadrangulaire, récemment restaurée, érigée en moellons de calcaire au milieu du 17e siècle. Transformée en gite rural, elle est surmontée d’une toiture pyramidale. Juste à côté, le bâtiment, érigé au début du 20e siècle par les frères marianistes, a lui aussi été restauré récemment.
Classement comme monument et comme site le 29 août 1988