Le château de Manot a été construit à la fin du XVIe siècle, peut-être sur les ruines ou à l'emplacement du logis du prieuré. Il a été construit par Bertrand de Salignac, seigneur de La Mothe-Fénelon. Celui-ci a acheté la baronnie de Loubert à la suite du démembrement de la principauté de Chabanais. Il a construit le château vers 1586, date portée sur l'échauguette contenant la tour d'escalier. A sa mort, la baronnie de Loubert passe par testament à son petit-neveu, Pons de Salignac. Le membre de la famille le plus célèbre est François Fénelon, archevêque-duc de Cambrai, auteur de Télémaque.
A partir du milieu du XVIIIe siècle, le château de Manot est occupé par des fermiers généraux. Le logis sud a été largement remanié en 1829-1830. C'est peut-être à cette époque qu'il a été arasé. Le château a été occupé par une laiterie. Des travaux récents ont permis de restaurer l'échauguette et de refaire la couverture du logis nord.
source : inventaire général du patrimoine culturel - Région Nouvelle Aquitaine