Chabrières, sur un piton rocheux dominant la vallée, possédait un château cité en 1251. Des souvenirs de cet édifice sont restés dans la toponymie : Ron del Chastel, Prat Chastel (le rocher du château, le pré du château). Des documents d’archives indiquent qu’en 1380, le château de Chabrières est en ruine. Aucun document n’indique s’il a été relevé après cette date. Le bâtiment construit sur la roche en haut du village est connu sous le nom de la prison.“On appelle ça la tour, on dit qu’à l’époque du château, c’était une prison. D’ailleurs il n’y avait pas de porte pour rentrer, il y avait une trappe sur le toit. Mon père disait que les propriétaires avaient fait une porte pour y habiter."