Auf dem Petersberg (246 Meter) nordöstlich von Gau-Odernheim befinden sich geringe Reste einer dreischiffigen Basilika aus dem 10. Jahrhundert mit Querhaus und drei Apsiden. Sie wurde zwischen 1255 und 1283 der Gemeinde Bechtolsheim abgekauft, um dort ein Kloster zu bauen. So lässt sich seit 1347 eine Prämonstratenser-Propstei dort nachweisen. Die Kirche verkaufte man 1563 an Odernheim. Das Kloster musste zwei Jahre später an die Kurpfalz abgetreten werden. Das Territorium der Kurfürsten grenzte an das Kloster und diese betrachteten es als ihr Eigentum. Nach der Französischen Revolution wurde es von den Franzosen konfisziert. Heute ist es leider nicht mehr erhalten, doch übriggebliebene Mauerreste, die 1882 gefunden wurden, zeugen noch von seinem einstigen Standort.

Beim Umbau der Basilika zur Kirche fand man ein Grab neben der Apsis am südlichen Strebpfeiler. Man vermutet, dass dies nicht das einzige Grab auf dem Petersberg war.