Cité en 1454 et déjà nommé Tour à Boys, du nom de la famille qui l’occupait alors, le château était un fief dépendant de la commanderie de Villers-le-Temple. Précédé d’une drève de tilleuls, fermée par une grille soutenue par deux piliers carrés à couronnement pyramidal, le château actuel est encadré de dépendances. Il a été construit entre 1791 et 1801 sur les plans de l’architecte Laurent Radelet pour le compte de Jean-Théodore Rome, dernier administrateur des biens de la commanderie dont le patrimoine a été vendu et démantelé à partir de 1798. En briques et calcaire sur un soubassement de grand appareil calcaire, le château prend la forme d’un important manoir de style néoclassique, de plan presque carré. La façade compte cinq travées de baies à linteau droit éclairant trois niveaux. La travée centrale, en faible ressaut et limitée par des chaînes à refends, est couronné par un fronton triangulaire orné d’un aigle. L’ensemble est surmonté d’une haute bâtière percée de deux lucarnes bombées. Une porte cochère à arc bombé permet d’accéder au rez-de-chaussée, traversé par un passage carrossable de part et d’autre duquel se répartissent les communs et une cage d’escalier. Au bel étage, des salons ovales et carrés sont ornés de stucs. Au-devant de la cour d’honneur, à gauche, on trouve un long bâtiment qui abrite des étables, des écuries, une grange et une remise à chariots. Les communs de droite font partie intégrante de la ferme voisine.
Classement comme site le 6 décembre 1976 et comme monument (façades et toitures, cage d’escalier, salons du premier étage et passage carrossable) le 19 juillet 1994