Bodenfunde zeigen, dass in der späteren Breyer Gemarkung schon in der Steinzeit Menschen gelebt haben. Auch die Römer (Römische Wasserleitung) und die Franken (fränkische Grabfunde) haben ihre Spuren hinterlassen. Bei diesen Funden handelt es sich unter anderem um ein ausgedehntes Gräberfeld, welches 1954 bei einem Kirchenerweiterungsbau um die Kirche St. Magaretha entdeckt wurde und um zwei Einzelgräber, die in einer Wohnstrasse freigelegt wurden.
Erstmals erwähnt wird Brey in einer Urkunde des Jahres 821. Damals vermachte Waltraud, die Witwe des Adrian, dem Kloster Fulda u.a. Besitzungen in Bruone (Brey) und Speyen (Spay) auf dem westlichen Rheinufer. Brey (1322 wird ein Schultheiß genannt) besaß einen eigenen Vogt. Vögte waren ursprünglich die Herren von Eppstein, die möglicherweise im Jahr 1283 die Vogtei zusammen mit Braubach an die Grafen von Katzenelnbogen verkauften 1443/44 wird das hupgericht zu Brey der Grafen von Katzenelnbogen erwähnt. 1563/1684 war das hobgedinge im Besitz der Landgrafen von Hessen, die das Erbe der Katzenelnbogen angetreten hatte. Nach dem Ort benannte sich ein Niederadelsgeschlecht. 1217/19 wird ein Folcmarus miles de Brie erwähnt. Die Familie ist bis in das 14. Jahrhundert. im Ort nachweisbar. Auch zahlreiche andere Herren und Korporationen waren im Ort begütert. Die Zehnt- und Geleitsrechte waren zuweilen umstritten.
Wie die übrigen Gemeinden am linken Rheinufer wurde Brey 1792 von französischen Revolutionstruppen besetzt und Teil der französischen Republik. 1798 war Brey französische Commune zusammen mit Siebenborn und Jakobsberg und gehörte zum Kanton Boppard (Arrondissement Koblenz). Im Jahr 1800 war Brey Teil der Mairie Rhens, Nach dem Abzug der Franzosen wurde Brey nach den Bestimmungen des Wiener Kongresses im Jahr 1815 dem Königtum Preußen zugeteilt (seit 1817 preußische Bürgermeisterei Boppard). 1948 im Amt Boppard, im Landkreis St. Goar, 1969 Bestandteile der Verbandsgemeinde Boppard (Landkreis Kobelnz), ist Brey seit 1970 zusammen mit Rhens, Spay und Waldesch Teil der Verbandsgemeinde Rhens.