Kastel ist eine der wenigen Gemeinden, die noch heute den Namen ihrer ursprünglichen Gründung führt. Zwischen 12 und 9 v. Chr. wurde unter dem Feldherrn Drusus das römische „Castellum Mattiacorum“, das Kastell im Gebiet der Mattiaker, auf der rechten Rheinseite errichtet. Von diesem aus Holz und Erde errichtetem Castellum gibt es keine archäologischen Spuren. In denselben Zeitraum fällt auch der Bau einer behelfsmäßigen Schiffsbrücke über den Rhein[Anm. 1] sowie eines römischen Ehrenbogens. Hiermit kam Mainz und dem rechtsrheinischen Castellum eine erhebliche strategische Bedeutung zu, war von hier aus sowohl die Überwachung der Flüsse, als auch des Rheinübergangs möglich und erlaubte zudem über die Wasserwege das Vordringen in noch unbesetztes Gebiet.   

Die hölzerne Schiffsbrücke wurde unter Vespasian 71 n. Chr. durch eine feste Jochbrücke mit steinernen Pfeilern ersetzt, wie über dendrochronologische Untersuchungen nachgewiesen werden konnte. Die ehemalige Brücke war wohl in den Wirren des sogenannten Vierkaiserjahres 69 n. Chr. zerstört worden[Anm. 2]. Diese 71 n. Chr. neuerrichtete Brücke hatte wahrscheinlich bis in das 5. Jh. hinein Bestand und verband Mainz mit dem rechtsrheinischen Gebiet[Anm. 3].   

Unter Vespasian oder Titus, wahrscheinlicher aber zur Zeit der Chattenkriege des Kaisers Domitian (83-86 n. Chr.) wurde das Castellum mit einer steinernen Mauer umwehrt[Anm. 4], wie Ziegelstempel der Legio I Adjutrix und Legio XIIII Gemina bezeugen, da diese Legionen lediglich im Zeitraum zwischen 70 und 86 n. Chr. gemeinsam in Mainz stationiert waren[Anm. 5]. Die relativ kleine Anlage hatte eine Größe von ca. 90 x 70 Meter und war wohl von einer kleinen Einheit der in Mainz stationierten Legionen besetzt. Es fügte sich in eine direkte Achse mit der Rheinbrücke ein, deren Standort wohl unweit der heutigen Theodor-Heuss-Brücke zu vermuten ist. Beim Bau des Volksbades 1954 konnte die Nordwestecke des Kastells archäologisch erfasst werden[Anm. 6].

Um das Kastell dürfte sich, wie bei römischen Militärlagern üblich, schnell ein Lagerdorf, eine zivile Siedlung gegründet haben, welche all jene anzog, die wirtschaftlich an das Heer gebunden waren[Anm. 7]. Dieser vicus wurde schnell größer und florierte in der Friedenszeit des 2. Jh. n. Chr., sodass ein wohlhabender neuer Stadtteil entstand[Anm. 8]. Große Thermenanlagen bestätigen dieses Bild[Anm. 9]. Um 121/22 n. Chr. scheinen die Befestigungen von den Römern geschleift worden zu sein, schien doch eine militärische Sicherung in diesem Gebiet, das mittlerweile der Limes schützte, nicht mehr notwendig.

Mit der Reichskrise des 3. Jh. n. Chr., welche allgemein durch Einfälle äußerer Gegner und innerer Schwierigkeiten gekennzeichnet war, wurde das rechtrheinische Limesgebiet nach einiger Gegenwehr aufgegeben und der Rhein wieder als Reichsgrenze befestigt, Mainz wurde erneut Grenzstadt. Der rechtsrheinische Brückenkopf blieb jedoch unter römischer Kontrolle[Anm. 10]. Mit der Bedrohung durch die Alamannen zu Beginn des 3. Jh. wurde unter Kaiser Caracalla oder spätestens unter Severus Alexander die gesamte Siedlung Kastel mit einer Steinmauer umgeben, die ein deutlich größeres Gebiet umschloss, als das ehemalige Castellum[Anm. 11]. Das 1862 gefundene, auf ca. 300 n. Chr. datierte Lyoner Bleimedaillon kündet von dieser Befestigung und zeigt neben dem Legionslager Mainz auch einen befestigten Brückenkopf Kastel. Eine römische Brücke ist ebenfalls noch unter Kaiser Julian (360-63) nachweisbar[Anm. 12]. Im 4. Jh. wurde der Mainzer Brückenkopf insgesamt wieder stärker befestigt, um die Rheinlinie behaupten zu können[Anm. 13].

Die römische Herrschaft konnte sich noch mindestens bis zum Beginn des 5. Jh. am Rhein behaupten. Das letzte archäologische Zeugnis der römischen Kontrolle stellte ein 1962 gefundener Schatzfund aus den Jahren 407-11 n. Chr. dar, der aus römischen Gold- und Silbermünzen sowie hochwertiger Militärausrüstung bestand. Dabei scheint es sich um die Kasse eines gesamten römischen Truppenteils sowie dessen Offizier gehandelt zu haben, der dort wohl von der Truppe deponiert und nicht mehr ausgegraben wurde[Anm. 14]. Womöglich konnte die römische Kontrolle sogar bis ans Ende des 5. Jh. überdauern[Anm. 15]. Das Schicksal Kastels in der nachfolgenden Zeit ist ungewiss.   

Nach dem Abzug der Römer liest man erst wieder in einem Schriftstück des Jahres 757 von einer Siedlung Kastel (ultra Rhenum ad Castrionis in marca Bodobigrinse). Karl der Große ließ 803-813 auf den Trümmern der in der sogenannten Völkerwanderungszeit (ca. 375-568) zerstörten Römerbrücke eine neue Verbindung zwischen den Ufern bauen. Ein Feuer vernichtete diese Brücke jedoch kurz nach ihrer Vollendung. Bis zur Errichtung einer neuerlichen, festen Brücke sollte es an dieser Stelle über tausend Jahre dauern[Anm. 16].
Kastel gehörte zum Königsland, geriet aber seit der zweiten Hälfte des 10. Jahrhunderts zunehmend in die Einflusssphäre des Mainzer Erzstiftes. Das Dorf wurde mit Mauern umgeben und im 13. Jahrhundert als "Reichsstadt" betrachtet. Das Wappen von Kastel in Form einer Muschel ist auf das 12. Jh. zurückzuführen, da es ab 1127 in Kastel eine Jakobsbruderschaft gab, die sich im besonderen Maße der Pilger auf ihrem Weg gen Santiago de Compostela annahm.