Die Karmeliterkirche gehört zu den Kirchen in Mainz, die auch heute noch als Klosterkirche fungieren. Im 13. Jahrhundert ließen sich zahlreiche Bettelorden in Mainz nieder. Dazu gehörten auch die Karmeliter, die unter Erzbischof Wernher (1260-84) in die Stadt kamen und nahe der rheinseitigen Stadtmauer eine Klosteranlage erbauten. 1285 werden sie erstmals urkundlich erwähnt. Die von 1700-1713 neu erbaute Vierflügelanlage des Klosters wurde an die Nordseite der Kirche angeschlossen. 1802 wurde der Orden säkularisiert, 1924 jedoch wieder neu gegründet.
Der Baubeginn der Karmeliterkirche liegt um 1326, vollendet wurde sie ca. 1350. Der Datierung auf einem Schlussstein im östlichen Langhausgewölbe nach wurde sie im Jahr 1040 vollendet. Zusammen mit der Arm-Klarenkirche vertritt sie den Typus der Bettelordenskirche in Mainz, der sich durch programmatische Schlichtheit auszeichnet. Im Jahr 1516 brannten das Dachwerk der Kirche und das Seitenschiff ab.
Die 1700-1713 unter dem gelehrten Lektor und Prior Arnold Leonardi neu errichteten Klostergebäude dienten vorrangig Schulzwecken. Im Jahr 1802 wurde das Kloster wie alle anderen Klöster im Département Donnersberg aufgehoben. Zwischen der Säkularisation 1802 und der Neubesiedlung durch holländische Karmeliter 1924 diente die Kirche als Magazin, das Klostergebäude als Schule. Seine Mauern wurden 1912 teilweise abgebrochen bzw. umgebaut. Am 8. Dezember 1924 wurde die Kirche auf das Patrozinium "Maria Himmelfahrt" neugeweiht. Niederländische Karmeliter zogen in die Gebäude ein.
Die Beschädigungen im Zweiten Weltkrieg 1942 waren vergleichsweise gering. Der Innenraum wird durch einen für Klosterkirchen typischen, langen Chorraum geprägt. Der unregelmäßige Grundriss macht deutlich, dass die Karmeliter auf die schon existierende Bebauung Rücksicht nehmen mussten. Von hervorragender kunsthistorischer Bedeutung sind die Deckengemälde im Chorraum aus der Zeit um 1400. Weitere Beispiele für Klosterniederlassungen im 13. Jahrhundert sind die Antoniter (später Armklara) und Klarissen (Reichklara). Noch älter ist das 1145 erstmals erwähnte Kloster Dalen.