Die Benediktinerabtei St. Alban lag südlich der Stadt auf dem Albansberg. Die Grundmauern ihrer Kirche werden heute von der Straße "Auf dem Albansberg" überschnitten.

Kaiser Valentinian (364-375) ließ wegen der Normannengefahr die Befestigungen von Mainz ausbauen. 406/407 erstürmten und plünderten germanische Stämme die Stadt Mainz. Bei den Kämpfen soll der hl. Albanus zu Tode gekommen sein. Er wurde in einem Gräberfeld südlich der Stadt (heute Stadtpark) beigesetzt. Nach diesem hl. Alban nannte sich ein Kloster vor der Stadt, dessen große Anlage 805 durch Erzbischof Richulf (787-813) geweiht wurde. Die Abtei entstand über einem vielleicht schon im 5. Jahrhundert errichteten Rechteckbau.

Fastrada, die Gemahlin Karls des Großen wurde hier 794 (auf der Nordseite der Kirche) ebenso begraben wie fast alle Mainzer Erzbischöfe des 9. und 10. Jahrhunderts sowie drei Kinder Kaiser Otto des Großen (936-973). St. Alban war bedeutendes Zentrum kulturellen Schaffens. So entstand hier um 950 ein umfassendes Formel- und Anweisungsbuch für die liturgischen Amtshandlungen der Bischöfe und Priester außerhalb der Messe. Es wurde um das Jahr 1000 in Rom übernommen und gewann weltweite Gültigkeit in der gesamten römisch-katholischen Kirche.

Zahlreiche Kirchen- und Reichsversammlungen (813, 847, 1084 und 1182) fanden in den Räumlichkeiten des blühenden Klosters statt. Beim Erdbeben des Jahres 858 wurden Teile der Kirche zerstört. 1184 bestätigte Papst Lucius III. dem Abt Heinrich alle Besitzungen, darunter 22 dem Kloster einverleibte Kirchen und 2 Kapellen. Eine starke Inanspruchnahme des Abtei durch die Mainzer Erzbischöfe führte neben den politischen Wirren dieser Zeit zu einer starken Verschuldung des Klosters, von der es sich gegen Ende des 13. Jahrhunderts aber wieder erholt hatte.

1329, im Kampf zwischen der Stadt Mainz und dem Trierer Erzbischof Balduin von Luxemburg, wurden die von starken Mauern umgebene Kirche und Klostergebäude von den Bürgern der Stadt Mainz zerstört. Damals wurde der nördliche Turm an der Westfassade vollständig umgelegt. Die Klostergebäude wurden zwar wieder aufgebaut, aber bei weitem nicht mehr so prächtig. Abt Herrmann musste 1354 auf jegliche Schadenersatzforderungen gegenüber der Stadt Mainz verzichten.

Weil das Klosterleben allmählich erstarb, wurde St. Alban 1419 in ein Kollegiatsstift (Ritterstift) umgewandelt. Nur ritterbürtige Mitglieder wurden im Stift aufgenommen. In der Fehde zwischen Erzbischof Diether von Isenburg und dem Kurfürsten Friedrich von der Pfalz blieben 1460 die Stiftsgebäude nur deshalb verschont, weil man sich mit Geld freikaufte. Im Jahr 1486 wurden die Kirche und die Stiftsgebäude neu renoviert; möglicherweise entstand zu dieser Zeit auch der gewaltige gotische Chor. Zur Finanzierung steuerte Erzbischof Berthold eine Kollekte bei. 1518 erteilte Kaiser Maximilian I. dem Ritterstift das Recht, Münzen zu prägen. St. Alban wurde in den Kämpfen zwischen protestantischen und katholischen Reichsfürsten durch Markgraf Albrecht von Brandenburg am Abend des 28.08. 1552 ausgeplündert, angezündet und zerstört. Die Stiftsherren fanden zunächst Aufnahme bei den Dominikanern in Mainz, seit 1664 im St. Stephansstift. St. Alban wurde nicht wieder aufgebaut.

Eine Kapelle, die der Propst des St. Albansstiftes, Christoph Rudolf von Stadion, 1684 an der Stelle des Hochaltars der alten Kirche errichten ließ, wurde schon vier Jahre später von den Franzosen zerstört. Sie wurde wieder aufgebaut, wurde aber Ende Juni 1793 bei der Beschießung der Stadt abermals zerstört. Im Stadtpark zeugen Sarkophage von dieser ältesten Mainzer Abtei. Im Priesterseminar wird das kostbare "Sacramentarium" aus der so genannten Mainzer Schreibstube der Abtei aufbewahrt. Ausgrabungen im alten Abteigelände fanden zwischen 1907-1910 statt.

Das älteste Gebäude, über dem sich später die Klosterkirche erhob, war ein einschiffiger Bau aus spätrömischer Zeit, dessen Grundfläche genau 50:100 römische Fuß maß. Die karolingische, im Jahr 805 geweihte Basilika war dreischiffig, doch vielleicht zunächst noch ohne Querhaus und die beiden Seitenapsiden. Im Westen befand sich eine Vorhalle in der Breite des Mittelschiffs, darüber eine Michaelskapelle, aber ohne Turm; die aus späteren Abbildungen bekannten zwei Westtürme wurden erst in romanischer Zeit hinzugefügt. Der gotische Chor (um 1300 und 1500) war von beträchtlicher Größe.