Pfaffen-Schwabenheim wird das erste Mal 775 in einer Lorscher Schenkungsurkunde als Suaboheim erwähnt. Der heutige Name kommt 1248 zur Unterscheidung von Sauer-Schwabenheim erstmals vor. Der Ort ist im 11. Jahrhundert schon im Besitz der Grafen von Sponheim. Bei deren Aussterben 1414 im Mannesstamm erbte die Tochter, Frau des Pfalzgrafen Rupprecht Pipan, ein Fünftel. 1437 fiel ein Teil der Vorderen Grafschaft Sponheim an die Markgrafen von Baden und die Grafen von Veldenz, deren Teil wiederum 1444 an den Pfalzgrafen Stephan von Simmern und Zweibrücken vererbt wurde. 1559 erlangte die Simmersche Linie die Kurwürde und der Anteil der Vorderen Grafschaft kam zur Kurpfalz. Diese hatte somit den Ort gemeinsam mit Baden in Besitz. Erst 1706 wurde er durch einen Tauschvertrag (Sprendlingen fiel an Baden) ganz kurpfälzisch bis zum Ende des 18.Jahrhunderts.

Eberhard V. von Nellenburg, der um 1030 Schwabenheim mit dem Kreuznacher Lehen von Kaiser Konrad II. empfangen hatte, war der Gräfin Hedwig (Nichte der Hl. Kunigunde, Frau des Kaisers Heinrich II.), die mit ihm 1045 das Kloster Schwabenheim stiftete. 1130 wurde es von Graf Meginhard von Sponheim und seiner Frau Mechthild von Mörseburg dem Mainzer Erzbischof Adalbert I von Saarbrücken übertragen, der es mit Augustiner-Chorherren besetzte. 1468 übergab Erzbschiof Adolf von Mainz das Kloster wegen der schlechten finanziellen Situation an die Windesheimer Kongregation des Augustiner-Ordens; es bestand bis zur Aufhebung 1566 durch Kurfürst Friedrich III. von der Pfalz und dem Markgrafen Philipp von Baden. Nach wechselvollem Schicksal der Kirche übernahm sie die geistliche Administration in Heidelberg. Die Augustiner kehrten zurück und blieben dort bis zur endgültigen Aufhebung 1802. Die Kirche selbst wurde bis zur Abfindung der evangelischen Gemeinde mit 20000 Mark im Jahre 1902 simultan genutzt.

Der spätromanische CHor mit den beiden Flankentürmen ist der Rest der 1230-1260 errichteten Kirche. Sie war mit der Beisetzung des Grafen Simon von Sponheim 1264 Begräbnisstätte der Sponheimer geworden. Die Prosteigebäude von 1723 wurden 1821 in ein geistliches Eremitenhaus umgewandelt und, da sie sich hierfür nicht eigneten, 1833 an die Gemeinde verkauft.