Höchstwahrscheinlich siedelten um etwa 500 Kelten auf dem Petersberg und legten dort einen Wall an. Eine alte Sage erzählt von einem Heiligtum auf dem Berg und bis etwa zum 18. Jahrhundert stand dort eine romanische Basilika mit Querschiff und drei Apsiden. Von der Krypta sind noch einige Pfeilersockel erhalten geblieben.
Der Gipfel des Berges liegt in luftigen 246 Metern Höhe. Es handelt sich um einen sogenannten Zeugenberg, der durch den Vorgang der Erosion sein heutiges Aussehen verdankt. Die Bechtolsheimer, Sulzheimer und Gau-Odernheimer bauen dort bis zum heutigen Tage Wein an.