Das Agnesenkloster lag am Tiermarkt (Dietmarkt), dem heutigen Schillerplatz. Die Anlage erstreckte sich vom Schillerplatz an der Nordwestseite des Ballplatzes entlang bis zur hinteren Präsenzgasse. St. Agnes warn aus dem klösterlichen Konvent hervorgegangen, der sich seit der Errichtung des Heilig-Geist-Spitals um die Pflege der Kranken kümmerte. Diese Ordensgemeinschaft bestand aus Brüdern und Schwestern. Nachdem man Männer und Frauen um 1250 getrennt hatte, bezogen die Schwestern ein eigenes Haus auf dem Kilstock und gingen zum Zisterzienserorden über. Sie nannten sich aber immer noch die Frauen bei dem Hospital. 1275 verlegten sie mit Zustimmung Erzbischof Werners wegen der Unruhen, denen sie am Kilstock durch die Nachbarschaft ausgesetzt waren, ihr Kloster an den Markt. Im Jahr 1304 stiftete Miltrudis, Witwe des Bürgers Erkenbold in der Klosterkirche drei Altäre (Jungfrau Maria, Petrus, St. Johannes). 1345 gründete Nikolaus von Mainz, Pfarrer der Pfarrkirche zu Gabsheim, eine Kaplanei zum Altar St. Michael und St. Stephan. Ein fünfter Altar war den 10.000 Märtyrern und der hl. Katharina geweiht. Im Jahr 1574 waren nur noch die Äbtissin und sieben Frauen im Kloster. Da es 1582 vollkommen leer stand, wurde es den Kanonissen des Ordens vom hl. Augustin übergeben. Diese waren infolge der Reformation aus dem St. Peterskloster bei Kreuznach nach Eibingen im Rheingau versetzt worden. In den Jahren 1716 und 1717 ließen sie das Kloster abbrechen und neu errichten. Auch die Kirche erfuhr beträchtliche Veränderungen.
Das Kloster wurde 1802 aufgehoben. Die Kirche fiel 1809 dem damals schon geplanten Durchbruch der heutigen Ludwigstraße zum Opfer, die das Gelände des Klosters in drei Teile zerschnitt. Die Klostergebäude dienten zuletzt der österreichischen Verpflegungsverwaltung. Sie wurden 1863 verkauft und mit dem noch erhaltenen Kreuzgang im selben Jahr größtenteils niedergerissen.