1323 ist die Burg erstmals in mainzischem Besitz verbürgt, als Erzbischof Matthias sie dem Mainzer Domkapitel schenkte. 1338 ist Burggraf Hebelo erwähnt. 1354 wird die Faitzburg dem Mainzer Stiftsverweser Kuno von Falkenstein verpfändet. Die Pfandschaft endete 1388 und Rheinstein wurde begehrter Sitz und Aufenthaltsort der Mainzer Kurfürsten. Die Burg wechselt dann mehrfach den Besitzer: 1409-1434 war der kurfürstliche Rat Johann von Selheim Lehnsmann auf der Burg, 1434-1478 der Domscholaster Volbert von Dres (1450 erfolgte ein wesentlicher Neubau) und ab 1524 Kammerschreiber Dietrich Wenk (1524 wird die Burg als baufällig bezeichnet). 1585 (1586) wird die Burgherrschaft samt Zollhaus und Zollhof, dem Faitzbergerhof, dem Lenderhof und zwei Mühlen im Morgenbachtal an den Kämmerer und Künstler des Mainzer Doms, Anton von Wiltberg vergeben. Die Burg blieb bis Ende des 18. Jahrhunderts in mainzischem Besitz. Die Herren von Wiltberg verkauften die Burg 1779 an den kurtrierischen Geheimen Rat Freiherr Mathias von Eyß. 1786 wird die Anlage als verfallen bezeichnet. Anfang des 19. Jahrhunderts wurden die Burggüter nach und nach von der Familie von Eyß veräußert und 1822 erwarb der Regierungsrat Freiherr von Coll die Burg für nur vier Taler. 1823 kaufte Prinz Friedrich Ludwig von Hohenzollern die Anlage und ließ sie 1825-1829 im Sinne der Rheinromantik des 19. Jahrhunderts als Sommerwohnung umbauen. Architekt war zunächst Johann Claudius von Lassaulx, dann übernahm sein Schüler Wilhelm Kuhn die Bauleitung. Seit dieser Zeit heißt die Anlage nicht mehr Vogtsburg, sondern Rheinstein.

Der Brunnen wurde 1834, die neugotische Kapelle (Grab des Prinzen, seiner Gemahlin und seines Sohnes) 1842-44 von Philipp Hoffmann errichtet. 1863 wurde die Burg an Prinz Georg von Preußen vererbt, 1902 erbte Prinz Heinrich von Preußen, der Bruder Kaiser Wilhelms II. die Burg. Die letzte Besitzerin aus preußischem Haus war 1953 Prinz Heinrichs Ehefrau, Prinzessin Barbara von Hessen und Rhein, Herzogin zu Mecklenburg. Sie lebte in der Nähe von Kiel und verkaufte den entlegenen und renovierungsbedürftigen Besitz 1975 an den Opernsänger Hermann Hecher, nachdem vorher schon zahlreiche Einrichtungsgegenstände verkauft worden waren. Hermann Hechers richtete sie in 20-jähriger Arbeit wieder so her, dass sie nicht nur wegen ihrer imposanten Lage auf steilem Fels zum Symbol des romantischen Burgenwiederaufbaus, sondern auch zu einer Attraktion des Rheintals geworden ist. Das Innere birgt kostbare Glasbilder (um 1500 und später), Wandmalereien, einen Renaissancekamin und gute Möbel.