Nach ihrer Vertreibung aus Mainz am Ende des 15. Jahrhunderts gab es hier fast hundert Jahre lang keine jüdische Gemeinde. Danach siedelten sich wieder Juden in größerer Zahl in der Stadt an. Sie wurden im 17. Jahrhundert durch zahlreiche Vorschriften und Verbote in ihren Betätigungsmöglichkeiten stark eingeschränkt und mussten in einem Ghetto wohnen. Erst im Zuge der Aufklärung erhielten sie größere Freiheiten. Die vollständige bürgerliche Gleichstellung erhielten sie jedoch erst Ende des 18. Jahrhunderts, als Mainz unter französischer Verwaltung stand. 

Im 19. und frühen 20. Jahrhundert erlebte die jüdische Gemeinde dann eine wirtschaftliche und kulturelle Blütezeit, bevor sie nach 1933 durch die Nationalsozialisten vollständig vernichtet wurde. Nach 1945 bildete sich eine sehr kleine neue Gemeinde, die erst seit den 1990er Jahren zahlenmäßig wieder stark angewachsen ist.

Die Gründung einer jüdischen Gemeinde in Mainz ist in Zusammenhang mit der Entwicklung der rheinischen Judengemeinden im 10. und 11. Jahrhundert zu sehen. Diese entstanden parallel zur Ausbildung des hochmittelalterlichen Städtewesens. Eindeutige Nachweise für die Existenz von Juden in Mainz gibt es erst für die zweite Hälfte des 10. Jahrhunderts. Sie siedelten damals vorwiegend im Bereich Flachsmarktstraße/Schusterstraße. Für ein bereits früheres Bestehen einer jüdischen Gemeinde in dieser Stadt sprechen allerdings die historischen Gegebenheiten, denn Mainz war im 9. Jahrhundert zu einem wichtigen Handelsplatz geworden. Bezeugt ist der Handel mit Gütern aus der gesamten damals bekannten Welt. Maßgebliche Träger des Fernhandels waren dabei die Juden. Mit der aus Lucca in Italien zugewanderten Familie der Kalonymos begann die Blütezeit des jüdischen Mainz. Unter ihrem Einfluss wurde die Gemeinde ein Zentrum jüdischer Gelehrsamkeit. Die am Übergang vom 10. zum 11. Jahrhundert lehrenden Rabbiner Jehuda ben Meir gen. Leontin und Gerschom ben Jehuda (960-1040) gründeten in der Stadt eine Jeschiwa (jüdische Hochschule, dem Studium der Tora und des Talmud gewidmet) von überregionaler Bedeutung.

In Mainz siedelten die Juden, wie alle Fremden und bestimmte Berufszweige, als Gruppe, da sie als solche vom Landesherrn betrachtet wurden. Ihrer Beschäftigung im Handel entsprechend lebten sie dort, wo der meiste Verkehr herrschte und Markt gehalten wurde. Die älteste Ansiedlung von Juden im mittelalterlichen Mainz erstreckte sich von der Betzelsgasse und der Stadthausstraße über Teile der Schustergasse und Christophsstraße bis zum Flachsmarkt. Die von ihnen bewohnte Gegend hieß „Unter den Juden“. Hier befanden sich das jüdische Hospital, die Metzgerei, das Backhaus und die Synagoge. Dabei war das damalige Judenviertel zu keinem Zeitpunkt – anders als die Judenviertel des 14. Jahrhunderts in Köln und Trier – durch Mauern oder Tore abgeschlossen. Die meisten Häuser in diesem Gebiet waren vielmehr von Nichtjuden bewohnt.

In Mainz befindet sich, neben Worms, die älteste jüdische Begräbnisstätte Europas. Die ältesten Grabsteine stammen aus dem frühen 11. Jahrhundert. Dieser mittelalterliche Friedhof wurde allerdings kurz nach der Ausweisung der Mainzer Judengemeinde im Jahr 1438 zerstört, die meisten Steine herausgerissen und als Baumaterial verwendet. Das alte Friedhofsgelände wurde zwar auch nach der Vertreibung von 1470 mit offizieller Erlaubnis in Einzelfällen weiterbenutzt, doch muss es sich in einem recht erbärmlichen Zustand befunden haben. Aus der Zeit zwischen der Mitte des 15. und dem Ende des 17. Jahrhunderts sind keine Grabsteine erhalten. Dazu mag auch der Sandboden des „Judensands“ beigetragen haben, in den die Steine schnell einsanken. Ab Anfang des 18. Jahrhunderts diente das Gelände an der Mombacher Straße wieder als Begräbnisstätte, bis es 1880 durch den Neuen Jüdischen Friedhof an der Unteren Zahlbacher Straße abgelöst wurde. 

Als man im 19. Jahrhundert bei Bauarbeiten im Stadtgebiet von Mainz rund 180 mittelalterliche Grabsteine fand, die vom alten Judensand stammten, entstand der Plan, sie am alten Ort wieder aufzustellen. Im Oktober 1926 eröffnete schließlich Rabbiner Sali Levi in Anwesenheit vieler staatlicher, städtischer und kirchlicher Würdenträger den Denkmalfriedhof auf dem oberhalb des frühneuzeitlichen Friedhofs gelegenen Gelände.

Aufgrund des Anwachsens der Gemeinde wurde das Ghetto in den folgenden Jahrzehnten um die offene Judengasse, d.h. die heutige Vordere Synagogenstraße, die Margaretengasse und die Löwenhofstraße erweitert.

Die Wohnsituation im Judenviertel stellte sich um 1785 folgendermaßen dar: Es gab in den beiden Judengassen insgesamt 63 Wohnhäuser. Davon waren 47 in jüdischem Besitz, wobei diese aber stark mit Hypotheken belastet waren. Durchschnittlich wohnten 2,3 Familien bzw. 13 Personen in einem Haus. Es herrschte eine unvorstellbare Enge, die durch das Anwachsen der Gemeinde und die Bauweise der Häuser noch verstärkt wurde. Die Grundstücke im Judenviertel waren durch die räumlichen Beschränkungen ineinander verschachtelt, schmal und sehr tief. Es gab meist viergeschossige Gebäude mit zwei- bis dreifenstrigen Hausfronten. Die drei Zimmer jeder Etage und das Treppenhaus lagen hintereinander, was den engen Eindruck noch verstärkte. So muss es als Zeichen einer besonderen sozialen Stellung gewertet werden, wenn es einzelnen Familien gelang, mit nur wenigen Personen ein ganzes Haus zu bewohnen. Moyses und Samuel Goldschmidt besaßen jeweils ein Haus, das sie mit nur vier Personen bewohnten.

Die Fülle der Verordnungen spiegelt aber noch kein erhöhtes Interesse der Landesregierung an der Verbesserung der sozio-ökonomischen Situation der Juden wider. Vielmehr ist die Verordnungsflut einzuordnen in die generelle Tendenz des Aufgeklärten Absolutismus, möglichst umfassend alle Lebensbereiche der Untertanen administrativ zu erfassen. Eine vollständige Emanzipation der Juden konnte sich die ständisch gegliederte Gesellschaft des 18. Jahrhunderts noch nicht vorstellen. Dennoch wurden die Reformen in Mainz weiter vorangetrieben als in anderen Territorien.

Ein weithin sichtbares Zeichen für den Wohlstand und das Selbstverständnis dieser Generation war der Bau der neuen prächtigen Hauptsynagoge, welche die zu klein gewordene liberale Synagoge im alten Judenviertel ersetzen sollte. Sie wurde in den Jahren 1911/12 in der Hindenburgstraße/Ecke Josefsstraße, wo infolge der Stadterweiterung ein großes Grundstück zur Verfügung stand, nach Plänen des Stuttgarter Architekten Willy Graf errichtet. Mittelpunkt der Anlage war ein Rundbau mit einer großen Kuppel, in dem sich der Betraum befand. Hier fanden 580 Sitzplätze für Männer Platz. Die Frauen, die die Synagoge über einen eigenen Eingang in der Josefsstraße betraten, saßen auf der Empore im ersten Stock, wo sich auch die Orgel und der Platz für den Chor befanden. Von dem Rundbau ausgehend erstreckten sich zwei zweigeschossige Seitenflügel. Darin befanden sich das Gemeindehaus, die Verwaltung und die Bibliothek. 

Durch die „Nürnberger Gesetze“ vom September 1935 verloren Juden den Status als „Reichsbürger“ und wurden zu Staatsangehörigen zweiter Klasse. Außerdem waren nun Eheschließungen und sexuelle Beziehungen zwischen Juden und Nichtjuden verboten und wurden unter Strafe gestellt. Auf nichtjüdische Kunden übten die Nationalsozialisten Druck aus, nicht mehr in Geschäften jüdischer Inhaber einzukaufen. Die jüdischen Geschäftsleute wurden zur Schließung ihrer Unternehmen gezwungen oder mussten sie, meist weit unter Wert, an „Arier“ verkaufen. 

Im Oktober 1941 beschloss die nationalsozialistische Reichsführung ein Auswanderungsverbot für Juden. Hatte sie zunächst auf die Vertreibung möglichst vieler Juden aus Deutschland gesetzt, so plante sie nun die physische Vernichtung der europäischen Juden. 

In Mainz wurden im März 1942 die ersten 470 jüdischen Frauen, Männer und Kinder deportiert. Sie wurden ab 20. März in der Turnhalle der Feldbergschule gesammelt, dann vom Güterbahnhof nach Darmstadt gebracht und von dort mit einem Transport von insgesamt 1.000 Menschen aus Hessen in das Ghetto Piaski bei Lublin im von der Wehrmacht besetzten Polen transportiert. In diesem Lager herrschten katastrophale Zustände. Arbeitsfähige mussten bis zur Erschöpfung Zwangsarbeit leisten. Die Menschen hungerten, Epidemien forderten viele Todesopfer. Die Überlebenden wurden wenige Wochen später in die Vernichtungslager Majdanek und Sobibor verschleppt und ermordet.

Als Mainz im März 1945 von US-amerikanischen Truppen befreit wurde, lebten nur noch etwa 60 Juden in Mainz. Sie waren mit Nichtjuden verheiratet und dadurch zunächst geschützt. Ihre ebenfalls geplante Deportation wurde durch das Kriegsende verhindert. Einige wenige Überlebende kamen aus dem KZ Theresienstadt zurück. 

Im Oktober 1945 stellte Michel Oppenheim den Antrag an die französische Militärregierung, wieder eine jüdische Gemeinde bilden zu dürfen. Zum ersten Vorsitzenden wurde Max Waldmann gewählt, ein Überlebender aus Theresienstadt. Mit Hilfe der Franzosen konnte 1947 die Turnhalle der Feldbergschule zu einer provisorischen Synagoge ausgebaut werden. 1952 baute die Gemeinde dann auf ihrem Grundstück in der Forsterstraße 2 das durch Bomben zerstörte Haus wieder auf und richtete darin einen Betsaal ein, der in den 1960er Jahren erweitert wurde und 100 Menschen Platz bot. Die Gemeindel blieb viele Jahre lang auf 120 bis 130 Mitglieder beschränkt. Die wenigsten der emigrierten Mainzer Juden kehrten zurück.