Nachdem das vorherige Pfarrhaus verfallen war, ließ Pastor Bonifatius Populo Anfang des 18. Jahrhunderts an gleicher Stelle ein Neues erbauen. Es umfasst 10 Zimmer, darunter die sogenannten Berghauser und Fredeburger Stuben. In ihnen wurden früher ältere Pfarrer aus Berghausen und Fredeburg bis zu ihrem Tod gepflegt. In einem inzwischen abgerissenen Wirtschaftsgebäude hatten Pächter und Tiere Platz. Heute steht dort das 1979 errichtete Pfarrheim. Während des 2. Weltkriegs hatte der damalige Pfarrer Rüsing einen Verbandsplatz eingerichtet; auch verletzte Soldaten wurden hier gepflegt. Als die amerikanischen Truppen Wormbach eroberten, stürmten sie zuerst das Pfarrhaus: Wahrscheinlich vermuteten sie ein Widerstandsnest. Wegen heftiger Gegenwehr deutscher SS-Truppen war das Sauerland zum Kriegsende besonders umkämpft, so dass auch dörfliche Gegenden Ziel von Luftangriffen wurden. Über 100 Fensterscheiben des Pfarrhauses gingen so zu Bruch.

Das 1717/1718 erbaute Pfarrhaus ist ein stattlicher Traufenbau mit einem hohen, verschieferten Walmdach. Das massiv gemauerte Erdgeschoss ist verputzt und trägt ein schlicht gegliedertes Fachwerk-Obergeschoss, das nach Westen verschiefert ist.  Während alle Öffnungen im Erdgeschoss einen Stichbogen besitzen, haben die Fenster im Fachgeschoss an den Stürzen farbig abgesetzte, profilierte Faschen. Die Hausecken sind mit K-Streben errichtet. Die Füllhölzer über dem Erdgeschoss tragen Schnitzereien und sind farbig gefasst. Ursprünglich  hatte das Haus 10 Zimmer. Neue Pastöre passten die Aufteilung häufig an eigene Bedürfnisse und den Zeitgeist an. Trotz vieler Umbauten blieben einige ursprüngliche Barocktüren erhalten. Die erste umfassende Renovierung fand 1890 statt, 2015 gab es letzte größere Baumaßnahmen mit einem Volumen von 500.000 Euro. Die Außenanlage wurde 2020/21 erneuert, darunter Wege, Buchenhecken und die Einfassung der Quelle.

Neben den aktuellen Pastören lebten im Wormbacher Pfarrhaus immer wieder alte und pflegebedürftige Pfarrer. Während des 2. Weltkriegs wurden in den Räumen verletzte deutsche Soldaten versorgt.  Nach dem Krieg zogen Flüchtlingsfamilien ein und wohnten hier bis Anfang der 1950er Jahre.  Weit über seinen Tod hinaus hat Pastor August Rüsing Pfarrgemeinde und Ort geprägt. Er war von 1937-1968 im Amt, ab 1947 als Dekan. Auf seinen Vorschlag hin wurden Holzkreuze an die rund um die Kirche stehenden Linden gehängt. Sie sollen an die im Krieg getöteten Soldaten aus Wormbach erinnern. Auch die einheitlichen überdachten Holzkreuze auf dem Friedhof waren seine Idee. Auf diese Weise wollte er deutlich machen, dass im Tod alle gleich sind.  Heute befinden sich im Untergeschoss des Pfarrhauses u.a. das Pfarrbüro, das Gemeindearchiv und die Büros der Gemeindereferentinnen. Im Obergeschoss ist Platz für die Wohnung des Pastors und die Bibelwerkstatt.