Construite en 1760, la place d'Armes fut le théâtre de faits historiques importants. Elle est entourée d'hôtels particuliers. Le Château lui fait face. Il date du XIIème siècle et fit office de prison pendant les Guerres de Vendée. Il abrite désormais un musée dont les collections reflètent le patrimoine noirmoutrin depuis la préhistoire.
L'Eglise quant à elle date du X1ème siècle.