De pastorie is opgetrokken uit zandsteen en wordt, onder meer gekenmerkt door dubbel geplaatste, ommuurde ramen. Daarnaast valt ook de koetspoort op. De poort wordt beschermd door twee schutpalen. Een rondboog, onderbroken door een centrale sluitsteen uit 1548, toont de wapenschilden van Jean Wormbs. Hij was de plaatselijke pastoor en werd nadien verkozen tot de 27e abt van de abdij van Rolduc waar de parochie van Baelen onder viel. Een andere steen boven de koetspoort verwijst naar de aanwezigheid van de priester Pierre Melchior Van der Steghe. Hij was in 1653 priester in Baelen en werd vervolgens verkozen om de 33e abt van Rolduc te worden.