Nadat de vorige pastorie in verval was geraakt, liet pastoor Bonifatius Populo aan het begin van de 18e eeuw een nieuwe bouwen op dezelfde plek. Het bestaat uit 10 kamers, waaronder de zogenaamde Berghauser en Fredeburger Stuben. Vroeger werden hier oudere pastoors uit Berghausen en Fredeburg verzorgd tot aan hun dood. Een boerderijgebouw, dat inmiddels is afgebroken, bood ruimte aan huurders en dieren. Tegenwoordig staat hier het parochiehuis dat in 1979 werd gebouwd. Tijdens de Tweede Wereldoorlog richtte de toenmalige pastoor Rüsing een verbandplaats in; ook gewonde soldaten werden hier verzorgd. Toen de Amerikaanse troepen Wormbach veroverden, bestormden ze eerst de pastorie: ze vermoedden waarschijnlijk een verzetsnest. Door hevig verzet van Duitse SS-troepen werd de pastorie Sauerland Vooral aan het einde van de oorlog werd er hard gevochten, waardoor ook dorpsgebieden het doelwit waren van luchtaanvallen. Meer dan 100 ruiten van de pastorie werden gebroken.

De pastorie is gebouwd in 1717/1718 en is een statig gebouw met een hoog schilddak met leien. De massieve bakstenen begane grond is gepleisterd en ondersteunt een eenvoudig gestructureerde vakwerk bovenverdieping, die aan de westkant is voorzien van leien. Terwijl alle openingen op de begane grond een segmentboog hebben, hebben de ramen op de vakwerkverdieping kleurrijke, geprofileerde nokken op de bovendorpels. De hoeken van het huis zijn geconstrueerd met K-schoren. Het houtwerk boven de begane grond heeft houtsnijwerk en is gekleurd. Het huis had oorspronkelijk 10 kamers. Nieuwe pastoors pasten de indeling vaak aan aan hun eigen behoeften en de tijdgeest. Ondanks de vele verbouwingen zijn enkele van de originele barokke deuren bewaard gebleven. De eerste uitgebreide renovatie vond plaats in 1890 en de laatste grote bouwwerkzaamheden bedroegen in totaal 500.000 euro in 2015. Het terrein werd in 2020/21 gerenoveerd, inclusief de paden, beukenhagen en de randen rond de fontein.

Naast de huidige pastoors woonden er ook steeds weer oude pastoors en hulpbehoevenden in de pastorie van Wormbach. Tijdens de Tweede Wereldoorlog werden gewonde Duitse soldaten in de kamers verzorgd. Na de oorlog trokken er vluchtelingengezinnen in die hier tot het begin van de jaren 1950 woonden. Pastoor August Rüsing drukte nog lang na zijn dood zijn stempel op de parochie en de stad. Hij was in functie van 1937-1968, vanaf 1947 als deken. Op zijn voorstel werden er houten kruizen aan de lindebomen rond de kerk gehangen. Ze zijn bedoeld om de soldaten uit de oorlog te herdenken. Wormbach in de oorlog. De gestandaardiseerde, overdekte houten kruisen op het kerkhof waren ook zijn idee. Op deze manier wilde hij benadrukken dat iedereen gelijk is in de dood. Tegenwoordig bevinden het parochiekantoor, het parochiearchief en de kantoren van de parochiemedewerkers zich in de kelder van de pastorie. Op de bovenverdieping bevinden zich de flat van de pastoor en het bijbelatelier.