Die Burg Weiselstein, in der Nähe von Rheinbay in Richtung Weiler gelegen, wird 1454 genannt (uff dem Schloss Weiselstein). Ethymologisch wird der Name von mitelhochdeutsch (ze deme) wîzen steine zu dem weißen Stein gedeutet. Die Alte Burg Weiselstein wird im Weistum der Gemeinde (Nieder) Hirzenach erwähnt. Christian von Stramberg erwähnt im Jahr 1857 im: Denkwürdiger und nützlicher Antiquarius, welcher die...Merkwürdigkeiten des ganzen Rheinstroms...darstellt, Abt.2, Bde.2-9: Das Rheinufer von Koblenz bis zur Mündung der Nahe, Koblenz 1851-60, S.713 noch „bedeutende Mauerreste, weite Keller, Wall und Graben“ der ehemaligen Burg Wiesenstein. Die Burg stand möglicherweise im Zusammenhang mit Weißenberg, von welchem Konrad d.Ä. von Schöneck 1367 den Titel führte. Bei der Stiftung eines Altars in Hirzenach 1380 wurden auch Gefälle von der Burg Wiesenstein erwähnt. Der Sage nach bestehe auch ein Zusammenhang mit dem Templerorden.

Burg Weiselstein (Wiesenstein) soll in einer Urkunde des Jahres 1380 - so berichtet es die Homepage der Gemeinde Rheinbay - genannt sein. Damals wurde ein Altar in Hirzenach gestiftet und dem Kaplan gewisse Einkünfte überwiesen, darunter auch solche von Burg Wiesenstein. In der fraglichen Urkunde soll auch ein Ritter von Wiesenstein genannt sein.
Der Grundbesitz der ehemaligen Burg ging später durch Kauf in das Eigentum der Familie Weckbecker in Münstermaifeld. Ein Erbe dieser Familie, der in St. Goar seinen Wohnsitz hatte, versteigerte den ganzen Besitz, der heute nur noch eine Wiese ist, da jegliche Mauerreste dem Erdboden gleichgemacht wurden. Zur sagenhaften nennung der Templeherren, steht auf der Homepage der gemeinde Rheinbay die Nachricht, die Tempelherren hätten sich nach ihrer Ächtung längere Zeit in Wiesenstein verteidigt. schließlich aber seien sie doch überwältigt und bis auf einen erschlagen worden. Dem Überlebenden gelang es, die Propstei in Hirzenach zu erreichen und dort sein Leben in Frieden zu beschließen. Sicher ist, dass die Templer in Rheinbay, Weiler, Holzfeld und Werlau begütert gewesen sind.