En 1561 le bailliage cesse d’être ambulant, une déclaration du roi Charles IX ¬ xe fixe son siège à Vic. La construction ou la reconstruction du bailliage date du milieu du 17e siècle, mais il subit des remaniements importants au cours du 18e siècle.
A l’origine, il comprend un bâtiment principal (actuelle maison), une salle d’audience (grange à droite de la maison) et une prison utilisée jusqu’en 1825.