Von der Römerzeit bis zum Beginn des 20. Jahrhunderts war Mainz eine befestigte Stadt. In Gefolge der Anlage der römischen Festung auf der Höhe des Kästrichs im ersten Jahrhundert nach Christus entstand allmählich eine bürgerliche Siedlung im Bereich der heutigen Altstadt. Nach der Aufgabe des Limes Mitte des 3. Jahrhunderts wurde der Rhein Grenze. Die Mainzer Festung auf der Höhe verlor ihre militärische verlor, die bürgerliche Siedlung dagegen gewann an Bedeutung. Wie so viele andere Gemeinwesen wurde Mainz in aller Eile mit einer starken Mauer, mit Toren und Türmen umgeben, die Reste der Festung wurden abgetragen. So entstand in der zweiten Hälfte des 3. Jahrhunderts die erste Stadtmauer. Sie sollte für mehr als anderthalb Jahrtausende die äußere Umfassungslinie der Stadtsiedlung bilden.
Die spätere mittelalterliche Stadtmauer gründete fast durchweg auf den spätrömischen Mauern. Das von dieser ersten Mauer umschlossene Gebiet wurde, abgesehen von der mittelalterlichen Vorstadt Selenhofen-Vilzbach, erst am Ende des 19. Jahrhunderts von der neuzeitlichen Stadterweiterung überschritten. Die Stadtmauer verlief parallel zur heutigen Rheinstraße (die bis in das 19. Jahrhundert das Rheinufer bildete) vom Holzturm bis zum Kurfürstlichen Schloss, von dort, landeinwärts umbiegend, parallel zur hinteren Bleiche bis zur Ecke der Gärtnerstraße, dann hinauf zum Kästrich (Alexanderturm). Von dort verlief sie weiter die Kästrichstraße entlang zum Gautor. Die Höhe des Kästrich, die noch bis ins 19. Jahrhundert überwiegend aus Gärten und Weinbergen bestand, musste in die Stadtmauerumgürtung einbezogen werden, damit sie einem potentiellen Gegner als strategische Stellung nicht zur Verfügung stand. Vom Gautor verlief die Mauer an Eisgrubweg, Hopfengarten, Strickergasse und Holzstraße entlang wieder zum Rhein.

Der Aufstand der Ministerialen und Bürger von Mainz gegen Erzbischof Arnold im Jahr 1160, der mit dessen Ermordung endete, hatte Folgen für die Stadt. Drei Jahre später befahl Kaiser Friedrich I. Barbarossa, die Stadtmauern dem Erdboden gleichzumachen. Eine Ausführung dieses kaiserlichen Strafbefehls unterblieb allem Anschein nach. Wie allgemein üblich hat man wohl nur die Tore und Türme unbrauchbar gemacht und Breschen in den Mauerring geschlagen. Die mehr oder weniger stark beschädigten Mauern wurden erst seit 1198 mit Erlaubnis König Philipps von Schwaben wieder ausgebessert. Wie in Worms und Speyer mußten sich auch in Mainz die umliegenden Ortschaften an der Finanzierung beteiligen, bzw. die bauliche Pflege und Bewachung bestimmter Mauerabschnitte übernehmen.
Aus dieser Renovierungszeit stammt das mächtige Portal des Eisenturms. Die Obergeschosse stammen aus dem 14./15. Jahrhundert. Ein zweites romanisches Tor, die einstige Wingertspforte, die vermutlich schon im 14. Jahrhundert beim Neubau des Holzturms (damals Neuturm genannt) zugemauert wurde, war 1902 tief im Boden steckend aufgefunden worden. Das heutige Gelände und die Straßenhöhe liegen um einige Meter höher als im Mittelalter.
Mehr als hundert Jahre scheint diese um 1200 wiederhergestellte, durch neue Tore, Tortürme und Grabenanlagen verstärkte römisch-karolingisch-romanische Stadtmauer der Stadt ausreichenden Schutz gewährt zu haben. Im Laufe der 13. Jahrhunderts wurde auch der Ort Selenhofen (seit 1206 bereits mit Wall und Graben versehen) in den erneuerten Mauerring einbezogen. Der bisherige Stadtgraben wurde ausgefüllt und zur Straße verwandelt (Graben- und Neuturmgasse = heutige Holzstraße): der am Rhein stehende bisherige Eckturm der Stadtmauer wurde durch einen neuen Torturm (Neuturm = Holzturm) ersetzt.
Im Verlauf des Mainzer Bistumsstreits (Schisma) belagerte 1328/1329 Erzbischof Balduin von Trier die Stadt Mainz, die auf Seiten des Erzbischofs Heinrich von Virneburg stand. Die Städter zerstörten die vor den Stadttoren liegenden Klöster St. Jakob, St. Alban und St. Viktor, um den Angreifern keine Angrifssbasis in die Hände zu geben. Des weiteren errichteten sie um das Kloster Jakobsberg auf der Höhe des Schönberges (heutige Zitadelle) ein Bollwerk, um die dort gefährdete Seite der Stadtmauer zu schützen. Dazu zogen sie einen Graben und einen  bemannten Wall um das Kloster. Auch der Ort Vilzbach scheint damals mit Gräben und Wällen befestigt worden zu sein.