Bereits im Jahr 755 wird eine Peterskapelle in Urkunden des Klosters Fulda genannt. Die neue Kirche St. Peter wurde von Erzbischof Friedrich (937-954) kurz vor 944 (Erstnennung) gegründet. Die Kirche stand nicht am heutigen Standort von St. Peter, sondern außerhalb der Stadtmauern (St. Petri extra muros) an der alten Römerstraße (heute vor dem Raimundistor, nordwestlich der Christuskirche).  Vier Jahre nach der Gründung am Fest des hl. Bartholomäus (24.8.) wurde der Neubau zum Stift erhoben und mit 21 Stiftsherren besetzt. Die Kirche wurde reichlich mit Güterbesitz ausgestattet. Die Stiftung wurde auf Bitten des Propstes Thiemo im Jahr 1069 durch Erzbischof Siegfried I. erneuert. Die Stiftsherren wohnten aber nur bis 1220 bei ihrer Stiftskirche. In diesem Jahr gestattet ihnen Erzbischof Siegfried II., das Stift in die Stadt zu verlegen. Er schenkte ihnen die Kirche zu St. Emmeran, deren Patronat ihm zustand. Die Stiftskirche wurde neu hergestellt und 1230 gestattete Erzbischof Siegfried II. den Stiftsherren, alle erledigten Pfründen zwei Jahre lang zur Wiederherstellung ihrer Kirche zu verwenden. Das Peterstift war bis zum Jahr 1313 Patronatsherr des St. Marienaltars in der alten Deutschordenskapelle, während der Deutsche Orden Patronatsherr der St. Marienpfarrkirche Odenmünster war. In diesem Jahr erhielt das Stift dieses Patronatsrecht durch Tausch; Erzbischof Peter gab seine Zustimmung. Dadurch wurde das Stift Herr dieser alten, ihm ganz nahe gelegenen Pfarrkirche.
Weil im Jahre 1588 die ganze Umgebung von Mainz von feindlichen Truppen besetzt war, wurde die Peterskirche geschlossen und erst 1592 wieder geöffnet. Aus gleichem Grund wurde sie 1619 erneut geschlossen.
Die Kriegsunruhen und die Schwierigkeiten, die die Stiftsherren mit ihrer Kirche zu erdulden hatten, bewogen Erzbischof Johann Schweikhard dazu, den Stiftsherren zu erlauben, ihren Chor und Gottesdienst in der Odenmünsterkirche zu halten. Das Stift wurde 1631 während des 30-jährigen Krieges (1618-1648) von den Schweden zerstört; es verlor drei seiner Spitztürme und das Dach. Die Reste wurden 1658 beim Bau neuer Befestigungswerke durch Erzbischof Johann Philipp von Schönborn beseitigt. Die als Ausweichquartier dienende gotische Pfarrkirche St. Marien Odenmünster wurde 1747 abgebrochen.
An ihrer Stelle entstand die heute noch bestehende Kirche St. Peter als Stiftskirche am Rand der damaligen Siedlung. Sie wurde zwischen 1749-1756 mit 220.000 Gulden Baukosten durch Hofarchitekt Johann Valentin Thomann errichtet. Die Fassade stammt von dem Mainzer Baumeister Johannes Dielmann (Dillmann). Nach acht Jahren Bauzeit konnte  der Neubau am 2. Mai 1756 von Erzbischof Johann Friedrich Karl von Ostein zu Ehren der Apostelfürsten Petrus und Paulus feierlich konsekriert werden.
Am 4. Juli 1802 wurde das Petersstift aufgehoben. Da der Dom nicht zu benutzen war, wählte man 1803 St. Peter zur feierlichen Einführung des von Napoleon eingesetzten Bischofs Joseph Ludwig Colmar. Die Kirche diente den verschiedenen Besatzungstruppen immr wieder als Garnisonskirche. Im Zweiten Weltkrieg wurde St. Peter fast völlig zerstört. Beim verheerenden Flächenbombardement am 27. Februar 1945 hatten Spreng- und Brandbomben den gewaltigen, hölzernen Dachstuhl entflammt. Die Brandhitze zerstörte den üppigen Stuckdekor und die Wand- und Deckengemälde. Nach Behebung der gröbsten Schäden konnte die Gemeinde am 8. Juni 1952 wieder einziehen. In mehreren Restaurierungsabschnitten ist St. Peter in seiner ursprünglichen Substanz bis 1989 wieder hergestellt worden. Heute erstrahlt das Innere der Kirche wieder im alten Glanz.