Auf dem Osthofener Goldberg entstand schon zu Beginn der Frankenherrschaft eine Kapelle (spätere Bergkirche) des Heiligen Remigius. Dieser war ein Gutshof benachbart, der im Verlauf des 9. Jahrhunderts befestigt wurde. Dies war möglicherweise eine Reaktion auf drohende Einfälle der Awaren um 800, der Normannen um 881/882 oder spätestens der Ungarn um 955. Der befestigte Komplex umfasste sowohl den Gutshof, die Bergkirche, als auch den benachbarten Friedhof. Im Laufe der Jahre entstand so die Burg Osthofen, die nach allgemeiner Annahme der Sitz der königlichen Vögte war.

Die Vögte in Osthofen werden erstmals 1160 schriftlich bezeugt, jedoch ist anzunehmen, dass sie schon früher amtierten. 1160 lag der Osthofener Vogt im Streit mit dem Probst des Liebfrauenstifts in Mainz, ob er Dienste von den Menschen, die auf dem Stiftshof in Osthofen lebten, fordern dürfe. Kaiser Friedrich I. setzte drei Ministeriale als Schiedsrichter ein, die zugunsten des Liebfrauenstifts entschieden.

1195 gelobte Heinrich von Wartenberg, der damalige Vogt von Osthofen, im Namen von Kaiser Heinrich VI., dem Domstift von Worms Besitz in Osthofen als Lehen zu geben, dem Bischof das Öffnungsrecht der Burg zu erteilen und ihn bei der Befestigung der Anlage zu unterstützen. Nach Heinrich von Wartenberg besaßen sein Sohn Konrad und mit ihm Wirich von Dune gemeinsam die Burg und hatten die Vogtei des Dorfes inne.

1241 kam es zum Streit zwischen den EinwohnerInnen Osthofens und Bischof Landolph von Worms. Dieser versuchte daraufhin mithilfe eines Aufgebotes aus Wormser Bürgern die Osthofener Burg einzunehmen. Der mit Gräben und Mauern befestigte Hof, wurde jedoch von den Osthofener BürgerInnen gehalten, die sich mit Pfeilen und Steinen erfolgreich wehren konnten. Die Angreifer mussten sich zurückziehen. Auf Anordnung König Konrads IV. nahm Marquard, der Schultheiß von Oppenheim die Burg in Besitz und vermittelte zwischen dem Wormser Bischof und den Osthofener Vögten. Die Burg wurde daraufhin an den Wormser übergeben, der sie beinahe vollständig zerstören ließ. Über dieses Vorgehen des Bischofs empörten sich die Osthofener Vögte und sagten Worms die Fehde an. Der Frieden konnte nur durch erneutes Einschreiten König Konrads IV. wiederhergestellt werden. Inwieweit die Burg nach diesem Streit wiederaufgebaut wurde, ist nicht überliefert.

Der Friedhof wird allerdings im Jahr 1260 noch einmal erwähnt, als zwischen Wormser BürgerInnen und dem Ritter Philipp dem Jüngeren von Hohenfels und anderen Rittern ein Streit entflammte. Eine militärische Nutzung des Goldbergs bleibt in diesem Zusammenhang jedoch unklar.

Heute finden sich nur noch wenige Überreste der Befestigungen auf dem Goldberg. Die unteren sehr massiven Mauern des Kirchturms der Bergkirche gehen möglicherweise auf die ursprünglichen Befestigungen der Vogtsburg zurück. Und auch am Friedhof finden sich noch Spuren der Wehranlage. So erkennt man vor allem im Bereich rechts des heutigen Haupteingangs zum Friedhof noch die alte Befestigungsmauer. Das Friedhofsgelände ist im Laufe der Jahrhunderte jedoch aufgefüllt worden, sodass sich die alten Schießscharten auf der Mauerinnenseite heute in Kniehöhe befinden. Auf der ältesten überlieferten Abbildung von Osthofen aus dem Jahr 1615 ist der Friedhof noch von einer dreifachen Befestigung, von Wall, Mauer und Graben umgeben. An der zum Ort gelegenen Seite bestand noch lange eine hölzerne Zugbrücke. In den 1820er Jahren wurde diese jedoch, im Zuge der Erweiterung des Friedhofes, entfernt, der Wall sowie die Brustwehr geschliffen und der Graben zugeschüttet.