Nachdem Osthofen im Dreißigjährigen Krieg verlassen und menschenleer war, siedelten sich nach dem Krieg Menschen verschiedenster Konfessionen an. Als die zunächst simultan genutzte Bergkirche im Zuge der Pfälzischen Kirchenteilung 1706 vollständig den Reformierten zugesprochen wurde, mussten sich die anderen Konfessionen Alternativen suchen.

Die Lutheraner konnten sich in den Ruinen des 1621 zerstörten Rathauses eine behelfsmäßige Kirche einrichten. Die Osthofener Luthergemeinde gehörte zu der 1699 errichteten Pfarrei Westhofen. Deren Sitz wurde 1720 nach Osthofen verlegt, da der lutherische Pfarrer in Westhofen keine passende Wohnung finden konnte. Als die Gemeinde Osthofen 1727 das alte Rathaus wieder in Besitz nehmen und für ihre Zwecke wiederherstellen wollte, verweigerten die Lutheraner die Herausgabe. 1738 wurde der entstandene Prozess zugunsten der Luthergemeinde entschieden. Aus diesem Grund wurde 1738 neben der lutherischen Kirche ein neues Rathaus gebaut.

Zur selben Zeit wurden die bisher genutzten Rathausruinen zu einer richtigen Kirche aus- und umgebaut, die 1739 eingeweiht werden konnte. Im Jahr 1752 erhielt die Gemeinde zwei eigene Glocken, die in dem bereits 1728 errichteten Kirchturm untergebracht wurden. Die baufällige Kirche bot der gewachsenen Kirchengemeinde irgendwann nicht mehr genug Platz, weshalb 1778 ein Neubau der Kirche entstand.

Nach der Vereinigung der Reformierten und Lutheraner in Rheinhessen (etwa 1822) wurden die Angehörigen der Gemeinden in Osthofen und Rheindürkheim Glieder der evangelischen Pfarrei Osthofen, die die Bergkirche als Hauptkirche nutzte. Der Verkauf der „Kleine Kirche“ wurde immer wieder in Erwägung gezogen, sich jedoch dagegen entschieden.

Bis zur Mitte des 20. Jahrhunderts fanden immer wieder Reparaturen und Umbauten an der Kirche statt. Im Zweiten Weltkrieg wurde die Kirche in der Nacht vom 4. auf den 5. Mai 1944 von der Druckwelle einer Fliegerbombe leicht beschädigt. Nach Kriegsende nutzten die amerikanischen Soldaten die evangelischen Kirchen des Ortes auch für ihre eigenen Gottesdienste.

Ab März 1964 fanden keine Gottesdienste mehr in der Kleinen Kirche statt. Sogar ein Verkauf wurde überlegt, da die Kosten einer umfangreichen Renovierung zu teuer waren. Gegen Ende des Jahres 1980 fand die Kirche jedoch neuen Nutzen. So zog die Zentrale der Sozialstation Osthofen, die sich in evangelischer Trägerschaft befindet, in die umgebauten Räume des Erdgeschosses ein. Das Obergeschoss konnte noch immer als Kirche genutzt werden. Die Sozialstation blieb bis 2006 in der Kleinen Kirche bevor sie in neue Räumlichkeiten umzog. Ab dann stand die Kleine Kirche leer bis 2007 der Eine-Welt-Laden mit seinem Café ins Erdgeschoss einzog.