C'est autour du château que le village de Buzet-sur-Baïse s'est organisé progressivement. Il est fondé au XIe siècle par le duc de Gascogne, au temps de la seigneurie châtelaine. Plusieurs familles se succèdent au sein de ce castrum et se répartissent le château, à la suite de partages successoraux. Le château est aujourd'hui une propriété privée, et son parc est situé à l’emplacement du bourg médiéval disparu.