Die seit 1828 evangelische Pfarrkirche ist die älteste Kirche der Stadt Mainz. Ob sich unter dem heutigen Bau die Reste des ersten römischen Domes verbergen, ist allerdings umstritten. Einige Teile der blutgetränkten Leibwäsche des 754 ermordeten Winfried Bonifatius wurden als wertvolle Reliquien in der St. Johanniskirche aufbewahrt. Ein für Bonifatius gefertigter Tumbadeckel befindet sich heute im Dom.
Um 900 wurde unter Erzbischof Hatto I. (891-913) ein spätkarolingischer Bau errichtet, der seit der Romanik mehrfach umgestaltet wurde. 1036 erhielt die Kirche als nunmehrige Stiftskirche das Patrozinium St. Johann Baptist. Im Jahr 1231 drohte der Johanniskirche der Einsturz, weshalb Erzbischof Siegfried III. dem Stift gestattete, die Einkünfte aller erledigten Präbende für die Wiederherstellung zu verwenden. Anfang des 14. Jahrhunderts wurde die Kirche dann von Grund auf neu erbaut.  Die Stiftsherren von St. Viktor hielten von 1552 ihren Gottesdienst in der Johanniskirche ab. Markgraf Albrecht von Brandenburg hatte ihre Gotteshaus völlig zerstört. Besonders im 17. und 18. Jahrhundert musste die Kirche massive Umgestaltungs- und Erneuerungsarbeiten über sich ergehen lassen. U.a. wurden die beiden Querbogen über dem Mittelschiff und die Querhausflügel, die Öffnungen zu den Seitenschiffen vermauert. Der Fußboden wurde 1684-86 um 2,65 Meter höher gelegt. Denkt man sich den Fußboden auf der Höhe der ottonischen Zeit, also um 2,65 uter dem heutigen Niveau, so wird der Raum erstaunlich hoch.

Am 22. Mai 1767 brannte das Paradies, der zwischen Dom und St. Johannis bestehende Verbindungsgang, ab und wurde in der Folgezeit ganz beseitigt. Bei der Belagerung von Mainz 1793 wurde die Kirche gezielt bombardiert, weil man dort ein Munitionsmagazin vermutete. Dach, Gewölbe, Fenster, Orgel und Fußboden wurden beschädigt. Die 1802 gegründete protestantische Gemeinde feierte ihre Gottesdienste zunächst in der Kirche des ehemaligen Altmünsterklosters, später in der Welschnonnenkirche. Am 15. März 1828 erwarb die junge evangelische Gemeinde in Mainz die Johanniskirche. Am 7. November 1830 wurde die Kirche eingeweiht, nachdem von 1829 bis 1830 die Ostfassade wegen Baufälligkeit abgebrochen und wiederhergestellt werden mußte.

Im Zweiten Weltkrieg brannte die Johanniskirche 1942 aus. Die von 1949 bis 1956 dauernden Arbeiten unter der Leitung von Prof. Karl Gruber aus Darmstadt wurden mit der Einweihung der Kirche am 9. Dezember 1956 abgeschlossen. Die jüngsten Renovierungs- und Restaurationsarbeiten wurden im Jahr 2010 beendet.