Ein nicht sehr wohlwollendes Bild der Wormser Fährleute zeichnet das um 1200 entstandene "Rosengartenlied", eine Variation des Nibelungenstoffes, in der ein riesenhafter Fährmann namens Norprecht von seinen Kunden nicht weniger als eine Hand und einen Fuß als Lohn für seine Dienste fordert. Die Durchführung des Fährverkehrs war im Mittelalter ein Privileg, das an Personen und Institutionen vergeben wurde, die ihrerseits Fährleute ("Fergen") mit der Abwicklung beauftragten. In Worms waren der Bischof, das Kloster Lorsch, die Herren von Dalberg, das Heilig-Geist-Spital, das Martinsstift und zwei Adelsfamilien Inhaber der "Fährgerechtigkeit". Gegen den Bau einer Rheinbrücke sprachen angesichts dieser Sachlage neben technischen auch wirtschaftliche Gründe, da die genannten Nutznießer nur ungern auf ihre Einnahmen aus dem Fährgeschäft verzichten wollten.

Zu diesem Zeitpunkt war Worms schon lange nicht mehr die stolze Reichsstadt, die sie im Mittelalter gewesen war. Die weitgehende Stadtzerstörung durch französische Truppen im Pfälzischen Erbfolgekrieg (1688-97) hatte zwar die Hafenanlagen nicht nachhaltig in Mitleidenschaft gezogen, wohl aber die Stadtmauer, die in der Folgezeit nicht wieder aufgebaut wurde. Als Frankreich das linke Rheinufer während der Revolutionskriege annektierte, verlor Worms seine Unabhängigkeit und wurde in das Département du Mont Tonnerre eingegliedert. Diese Wendung hinderte den Wormser Stadtrat erstaunlicherweise nicht daran, im Jahr 1798 bei den Pariser Behörden um Erlaubnis zum Bau einer Brücke zwecks besserer Anbindung an das rechte - also von Frankreich aus gesehen feindliche - Rheinufer nachzusuchen. Ob das Direktorium auf dieses Gesuch reagiert hat, ist nicht überliefert. Erst als Worms nach dem Sturz Napoleons und der darauffolgenden Neuordnung Europas im Jahr 1816 an das Großherzogtum Hessen-Darmstadt kam, wurde der Bau einer Rheinbrücke wieder vorangetrieben, da sich nun die dringende Notwendigkeit ergab, die rechts- und linksrheinischen Gebiete des Fürstentums besser miteinander zu verbinden.

Mit der Besetzung des Rheinlands nach dem Ersten Weltkrieg wurde der Rhein abermals eine deutsch-französische Landesgrenze und die Ernst-Ludwig-Brücke eine Zollstation. Den Abzug der Franzosen feierte man 1930 in Worms unter anderem mit einem Blitzbesuch des Reichspräsidenten Hindenburg, der am Rheinufer vor Anker ging. Schon wenige Jahre später machten sich die ersten Kriegsvorbereitungen in der Stadt dadurch bemerkbar, dass die neoromanischen Brückentürme abgetragen wurden, um Plattformen für Flakgeschütze zu schaffen. Die Wehrmacht sprengte die Ernst-Ludwig-Brücke schließlich am 20. März 1945, um den Vormarsch der Alliierten zu erschweren. Nach dem Krieg stand man in erster Linie vor der Aufgabe, den Verkehrsweg über den Rhein möglichst schnell wieder herzustellen. Ästhetische Erwägungen spielten eine weniger große Rolle. Schließlich entschloss man sich zu einem Kompromiss: Der linksrheinische Torturm wurde wieder aufgebaut, der rechtsrheinische Stumpf dagegen abgerissen. Die Einweihung der "Nibelungenbrücke" fand am 30. April 1953 in Anwesenheit des Bundesverkehrsministers statt. Seit 2008 gibt es in Worms eine zweite, parallel verlaufende Straßenbrücke, die das in den letzten Jahrzehnten stark gestiegene Verkehrsaufkommen bewältigen helfen soll.