La famille de Franquemont a possédé l'édifice de 1397 à 1580. Cette famille était issue d'une branche bâtarde des comtes de Montbéliard et possédait une seigneurie à son nom : Seigneurie de Franquemont.
En 1559, le bâtiment est entièrement reconstruit.
Les façades et toitures, la tour d'escalier, le puits dans l'angle Sud-Est de la cour, la cave de l'angle sud-est du corps principal, y compris les vestiges des remparts font l’objet d’une inscription au titre des monuments historiques depuis le 10 octobre 1989.