Puybelliard était jadis un bourg très commerçant de par sa position sur l'une des "routes du sel".
Commune fusionnée avec la commune de Chantonnay depuis 1964, elle a gardé de son passé beaucoup de cachet.
A l'origine, cette tour faisait partie du château féodal de Puybelliard. Elle servait autre-fois à l'emprisonnement des hommes ; d'où son appellation de "tour des hommes".
En face d'elle, se dressait la "tour des femmes", aujourd'hui détruite.