Der heute frei stehende Turm der Ruine Schwabsburg war einst der Bergfried einer vollständigen Burganlage. Wer sie errichtete, ist unbekannt. Man nimmt an, dass die Schwabsburg im Zusammenhang mit dem Bau der neuen Burg in Oppenheim nach 1118, also in der frühen staufischen Epoche (1125-1245/50) entstand.
Die Schwabsburg lag an einer nach Mommenheim führenden römischen Heerstraße und diente im Zusammenspiel mit der Burg Oppenheim (die spätere Burg Landskrone) dem Schutz des Reichsgutes und dem Ausbau der Machtstellung der Staufer in und um Nierstein und Oppenheim. Gegenüber der mächtigen Burg in Oppenheim, die an exponierter Stelle am Rhein lag, nahm sich die Schwabsburg eher bescheiden aus. Während der Bergfried mit seinen Buckelquadern noch fast in ganzer Höhe erhalten ist, sind keine Reste von weiteren Gebäuden vorhanden. Lediglich in schriftlichen Quellen ist von einem Speisesaal und einem Fischteich die Rede. Auf der Ansicht von Matthias Merian aus dem 17. Jahrhundert sind der Turm, die Umfassungsmauer mit den Wohngebäuden und eine steinerne Brücke zu erkennen. Die Ringmauer und die angefügten Wohn- und Wirtschaftsbauten, die früher den Bergfried im Quadrat umstanden,  verschwanden, als die Burg 1799 auf Abbruch verkauft wurde. Die Könige übertrugen die Verwaltung der Burg einem Geschlecht, das sich nach der Burg benannte und 1246 erwähnt wird. Die Burg selbst wird zuerst 1257 genannt, als König Richard von Cornwall den Rheingrafen Werner mit der Schwabsburg und dem Ort Groß-Winternheim belehnte. Lange währte das Lehensverhältnis nicht, denn bereits 1274 und 1276 stellte Philipp d.Ä. von Hohenfels Urkunden auf der Schwabsburg aus. Im Jahr 1315 verpfändete König Ludwig die Reichstädte Oppenheim und Odernheim samt ihren Burgen, Nierstein, Nieder- und Ober-Ingelheim und auch die Schwabsburg an den Mainzer Erzbischof Peter von Aspelt. Im Jahr 1353 gab Erzbischof Gerlach die Schwabsburg und die anderen Pfandorte zwar zurück, aber drei Jahre später verpfändet Kaiser Karl IV. die Pfänder erneut an Mainz. Im Jahr 1367 verpfändete König Wenzel die Orte an Pfalzgraf Ruprecht I. Dem Königtum gelang es nie mehr, die Pfänder auszulösen.
Im 30jährigen Krieg (1618-1648) wurde die Schwabsburg 1620 von den Spaniern zerstört. Nach Brilmayer sank die Schwabsburg erst im Zuge der Besetzung der Pfalz durch die Franzosen gleichzeitig mit der Burg Landskrone in Oppenheim am 31. Mai 1689 in Schutt und Asche. Die Schwabsburg blieb mit den übrigen Orten bis zum Ende des 18. Jahrhunderts bei Kurpfalz.