Die Felseneremitage, die nordwestlich von Bretzenheim liegt, entstand wohl schon in grauer Vorzeit. Sie wurde in heidnischer Zeit wahrscheinlich auch zu kultischen Zwecken gebraucht, was durch die erkenntnis das es unterhalb des Felsenbaus einen oder mehrere Hinkelsteine gab, noch warscheinlicher wird. Hätte somit eine weit in die Vergangenheit reichende religiöse Geschichte. In frühchristlicher Zeit wurde sie umgewidmet und 1043 erstmals als Kirche erwähnt. Wie der Name verrät handelt es sich bei der Eremitage um einen Ort an dem sich tiefst gläubige Christen von der Gesellschaft abschotteten also als Eremiten lebten. Aber anscheinend entwickelte es sich doch eher zu einem Kloster, in welchem immer einige Eremiten, später bezeichneten sie sich als Mönche, beisammen lebten und sogar an die Felsenkapelle eine nach außen reichende Kirche anlegten, welche allerdings 1819 wegen Baufälligkeit abgetragen wurde. Der letzte Einwohner Andreas Zahn (Bruder Abraham) verunglückte 1827 tödlich, als er vom Felsen herunter fiel.

Aus der vorchristlichen Zeit stammt noch ein kleiner Felsenraum unter dem eigentlichen Bau, welcher wahrscheinlich den ehemals in Bretzenheim ansässigen Kelten als Kult-/Opferstelle diente und zu Römischer Zeit wahrscheinlich vom Mithraskult, einem Mysterienkult, genutzt wurde.

In Frühchristlicher Zeit begannen Eremiten den Ort für sich zu entdecken, doch gab es so viel Zulauf das sich der Wohnungsraum, von einzelnen kleinen Klausen, auf insgesamt 90 m² erhöhte, weit mehr als die Bedürfnisse eines Eremiten. Auch wurde an die in Fels gehauene dreischiffige Kapelle noch eine Kirche angebracht, was den Namen Eremitage eigentlich widerlegte. Der heutige Altar in der Kapelle stammt aus der Gotik.

Auch im Mittelalter war die Eremitage schon ein Ort mit Anziehungskraft, da sich hier ein Ritter beerdigen ließ. Außerdem muss der Ort vor seinem tragischem Ende, ein Wallfahrtsort gewesen sein, was ein Gästehaus aus dem Jahre 1759 belegt.

Nach der Säkularisierung( Beschlagnahmung Kirchlichen Eigentums) des Ortes wurde die Felsenkapelle um 1930 komplett zugemauert und der Altar darin als Kelter.

Heute ist die Felseneremitage gegen die durch Verfall vorhandene Einsturzgefahr geschützt und ein kulturgeschichtliches Ausflugsziel.