Die ehemalige Benediktinerabtei auf dem südlich der Stadt Mainz gelegenen Jakobsberg wurde im Jahr 1050 von Erzbischof Bardo von Mainz gestiftet. Sein Nachfolger, Erzbischof Luitpold, vollendete das Kloster und weihte es 1055 mit seiner stattlichen, mit zwei hohen Türmen versehenen Kirche ein. Zugleich übergab er der Ordensgemeinschaft die auf der Südseite des St. Jakobsberges gelegene Basilika St. Nikomedes mit ihren Gütern und Einkünften. Luitpold starb im Dezember 1059 und wurde in der Klosterkirche begraben.
Im Laufe der Zeit erhielt das Kloster reiche Zuwendungen. Kaiser Heinrich IV. schenkte ihm im Jahr 1064 insgesamt 25 Mansen Land in Dörnigheim im Maingau und Erzbischof Adalbert I. von Mainz bestätigte 1122 die von Embricho von Heppenheft vollzogene Übertragung der Patronatsrechte der Pfarrkirche zu Geinsheim. 1294 überließ Erzbischof Gerhard II. von Mainz dem Kloster den Ort Planig mit reichem Zubehör. Der Abt nannte sich damals "Herr von Geinsheim, Planig und Dörnigheim". Der vorletzte Abt Cölestin Isachi verkaufte 1791 die Hoheitsrechte über Planig für 24.000 Gulden und ließ sich mit dem Erlös die sog. Jakobsberger Häuser in der Hundsgasse (Neutorstraße) in Mainz erbauen.
Am 24. Juni 1160 wurde Erzbischof Arnold im Kloster, in das er sich am Tag zuvor zur Aussöhnung mit den Ministerialen der Stadt Mainz begeben hatte, ermordet. Bei den daraus entstehenden Kämpfen wurden Kloster und Kirche verwüstet und verbrannt. Die neue Kirche, welche die Äbte Stephan und Vulpert erbauten und 1186 vollendeten, wurde am 10.08. 1329 von den Bürgern der Stadt Mainz, die für Erzbischof Heinrich III. gegen Erzbischof Balduin von Trier Partei ergriffen hatten, niedergebrannt. Erst unter Abt Eberhard von Venlo entstand 1461 die neue, wesentlich kleinere Kirche, die von den Mainzer Bürgern im Rahmen von Schadenersatzleistungen errichtet werden musste.
Bei der Errichtung der Schweickardtsburg 1629 und schließlich beim Bau der Zitadelle 1655-1661 unter Kurfürst Johann Philipp von Schönborn, wurde das Kloster in den Befestigungstrakt eingeschlossen. Im 18. Jahrhundert erweiterte man den Abteibau des Klosters, das große und kleine Schlafhaus, das Krankenhaus, die Küsterei und das Kapitelhaus um zwei Gebäude, die sich gegenüber standen, das eine für die Oberen und die Bibliothek, das andere für Gäste. Nur der Fremdenbau überstand die Beschießung des Jahres 1793, da er durch den hohen Wall gedeckt war. Die übrigen Gebäude wurden zerstört.
Die Mönche, die das Kloster und die Stadt im Krieg verlassen hatten, bezogen nach ihrer Rückkehr die Häuser in der Hundsgasse, bis ihnen der Kurfürst am 1.5. 1796 das Altmünsterkloster mit der Kirche, samt einigen bis dahin von der Universität benutzten Gebäuden gegen eine Entschädigung überließ.
Das Kloster wurde 1802 aufgehoben, 17 Mönche waren damals noch anwesend. Die Häuser in der Hundsgasse wurden als Kaserne eingerichtet, bis sie 1865 verkauft wurden.