Forteresse médiévale du Xe siècle, le château et ses bâtiments n'ont cessés d'être transformés au cours des siècles.
De 1397 à 1793, ce fut la résidence des comtes de Montbéliard, puis des ducs de Wurtemberg à partir de 1495. Voilà pourquoi le Pays de Montbéliard est devenu alors une principauté germanique.
Aujourd'hui le lieu n'a rien perdu de son caractère. Il est un magnifique lieu de promenade offrant comme point d'orgue, un panorama sur la vielle-ville et sur les faubourgs.
C'est aussi devenu un espace muséographique retraçant l'histoire du Pays de Montbéliard depuis les temps préhistoriques jusqu'à nos jours.
La Galerie Cuvier met à l'honneur l'histoire naturelle, mais il est possible également de découvrir, dans le département d'art contemporain, des œuvres du peintre Jean Messagier, ou de déambuler dans les tours du château, grâce au circuit historique.
Le musée d'Art et d'Histoire - Hôtel Beurnier Rossel présentent de riches collections sur le patrimoine du Pays de Montbéliard.
De nombreuses expositions temporaires viennent compléter ces présentations.