Le territoire du Viala-du-Pas-de-Jaux a été donné aux Templiers en 1150 par le seigneur de Tournemire. Aux XIIème et XIIIème siècles, le Viala, comme on dit alors, n'est constitué que de quelques mas, c'est à dire d'exploitations agricoles.Lorsque les Hospitaliers prennent possession des biens du Temple après 1312, ils décident de créer en ce lieu un village et pour cela construisent les bâtiments d'une exploitation agricole qui sera gérée par les frères de l'ordre. Ils élèvent pour eux en 1315 le logis des chevaliers et construisent une église dédiée à Saint-Jean Baptiste, le Saint Patron des Hospitaliers. Jusqu'en 1430, les habitants du Viala-du-Pas-de-Jaux et de ses alentours, se réfugiaient à Sainte-Eulalie-de-Cernon lors des périodes de grande insécurité régnant sur le Larzac. Compte tenu de la distance relativement élevée, les habitants demandent l'autorisation au Grand Prieur de Saint Gilles, Bertrand d'Arpajon de construire une tour fortifiée pour pouvoir s'y réfugier eux et leurs biens. C'est la première fortification construite sur le plateau.Aujourd'hui la tour avec ses 30 mètres de haut est restaurée. Le rez-de-chaussée voûté, les cinq étages et le chemin de ronde à son sommet sont accessibles aux visiteurs, ainsi que le logis des hospitaliers datant du XIVème S.