Construit au XIIe siècle, le château de Nogaret était situé sur la seule route qui reliait Saint-André-de-Valborgne au Pompidou. Il aurait été édifié pour servir de place forte et défendre la vallée Borgne. Incendié en 1628 lors de la guerre entre le duc de Rohan et Louis XIII, puis en 1704 par les Camisards, il fut reconstruit dans le courant du 17e siècle. Cette propriété privée appartient toujours à la famille de Manoel de Nogaret.« Ce petit château est l'un des plus beaux exemples de ces maisons fortes édifiées à la fin du Moyen-Âge par des petits seigneurs locaux, désirant s'affranchir, symboliquement au moins, de la tutelle des grands féodaux. » (Isabelle Darnas - Les châteaux médiévaux en Cévennes).