Cette vaste demeure est entourée de carreyrous, petits passages entre les maisons, qui permettent la circulation dans toute la commune.Certaines légendes racontent que les gabarriers qui passaient par Limeuil, après s’être trop amusés dans la maison de Tolérance, allaient se faire dégriser dans la maison de Justice.