Bis zum Jahre 1798 wohnten die Geistlichen auf der Burg. Inzwischen waren die baulichen Zustände hier untragbar geworden. Hierzu taten auch die Bürger des Städtchens das Nötige, indem sie alles, was nicht zur Pfarrwohnung gehört, ausplünderten. Pfarrer Anton Berghofer zog deshalb herab in den Flecken und nahm zunächst Wohnung im katholischen Schulhaus. Hier handelte es sich um ein kleines Gebäude neben dem Kronenwirt (heute Geschäft Prümm). Schon im Jahre 1800 erwies es sich, dass bei dieser räumlichen Enge Pfarrhaus und Schule nicht zusammen untergebracht werden konnten. Der Lehrer musste deshalb mit seinen 6 Schülern ausziehen. Wo er sich vorübergehend aufhielt, konnte der Verfasser nicht ermitteln. Zwei Jahrzehnte bemühte man sich um einen Neubau, aber immer scheiterte das Vorhaben wegen finanziellen Schwierigkeiten.
Die wirtschaftliche Lage der katholischen Gemeinde wird uns aus einem recht verständlichen Brief des Pfarrers Dauffenbach an die königliche Regierung deutlichen. Gleich soll uns aber dieses Gesuch zeigen, wie die Untertanen mit ihrer Regierung schriftlich zu verkehren hatten. Wolfstein, den 18. Februar 1818 An die Hochpreislich, gnädigste Landesregierung! Unterthänigstes Gesuch des katholischen Kirchenvorstandes von Wolfstein, Kanton gleichen Namens, Bezirk Kaiserslautern um gnädigste Bewilligung einer Unterstützung und Erlaubnis zu einer Kollekte im Königlichen Rheinkreis behufs eines für die Pfarrer nothgedrungenen Pfarrhauses. Es herrscht eine Noth in der kath. Pfarrei Wolfstein, eine Noth, welche die arme, ja sicher ärmste aller Pfarreien des königlichen Rheinkreises umgibt und welche nie zu entfernen möglich wird, wenn Euere Milde Hohe Gnädigste Regierung mittels Hochderselben Hilfe und Unterstützung nicht steuern wird. Euerer Hochpreislich gnädigsten Landesregierung unterthänigster Diener Dauffenbach, Kantonspfarrer.
1821 wurde das Kriegersche Haus (heute Wohnung des Lehrers Becker) für 1.525 Gulden gekauft, wozu von der königlichen Regierung 600 Gulden Zuschuß geleistet wurden (Realwert des Guldens: 1 Ztr. Weizen = 5 Gulden) also ungefähr 7.000 DM. Dieses Haus befand sich an der belebtesten Stelle der Stadt. Der Pfarrer erwähnte in einem Schreiben die vielen Fuhrwerke, die vor der gegenüberliegenden Brauerei Braun anhalten und von dem Lärm, der die angrenzende Gastwirtschaft des Heinrich Becker (Hirschwirt) verursachte. Heinrich Becker betrieb auch eine Bäckerei und war bei seinen beschränkten räumlichen Verhältnissen dringend auf eine bauliche Erweiterung angewiesen. Diesen Umständen hat die katholische Gemeinde ihr heutiges Pfarrhaus zu verdanken.
In der Vorstadt, gegenüber dem Kantonsgefängnis, erwarb der Hirschwirt das dem Notar Haas gehörige neue Wohnhaus (erbaut 1845) und tauschte es am 29. Januar 1859 bei einer Herauszahlung von 240 fl. gegen das bisherige Katholische Pfarrhaus. (Aus Pfarr- und Schulgeschichte der Stadt Wolfstein, Seite 28)