In Erbes-Büdesheim, in dem ursprünglich zahlreiche verschiedene Grundherren zu finden waren, hatten um 1275 die Grafen von Leiningen das Sagen. Ab 1350 gehörte der Ort zur Grafschaft Sponheim. Aus dieser Zeit stammen auch die beiden Burgen, die "Weiße Burg" im Süden (erbaut um 1340) und die "Blaue Burg" (Dehio: Rote Burg) im Nordwesten.
Die Weiße Burg wurde als Wasserschloss erbaut und sollte im Laufe der Jahrhunderte mehrfach den Besitzer wechseln. Bis heute sind 32 Hausherren bekannt. Das gebäude ist das Geburtshaus der Grossmutter Heinrichs von Gagern, des Präsidenten der Paulskirchenversammlung von 1848.
Im Jahr 1354 wurde die Burg von dem aus Fürfeld stammenden Ritter Dietz Birkenfelder bewohnt. Später waren beide Burgen samt den zugehörigen Gütern für längere Zeit wildgräfliches Lehen der Herren von Morscheim. So belehnte im Jahr Wildgraf Otto von Kyrburg den Dietrich von Morscheim mit dem "burglichen Haus" und der Mühle zu Erbes-Büdesheim. Ein Johann von Morscheim, im Jahr 1493 Burggraf zu Alzey (+ 1516), ließ einer Türinschrift zufolge die "Rote Burg" oder das Schloss wiederherstellen.
Als das Geschlecht kurz vor 1640 mit Georg von Morscheim im Mannesstamm erlosch, kamen beide Burgen über Georgs Tochter Anna Elisabetha an Wolfgang Adolf von Carben (+ 2.5.1671), dessen dritte Gemahlin sie geworden war. Wolfgang Adolf wird 1644 als Eigentümer genannt. Sein Sohn Johann Adolf von Carben hatte das Schloss nur bis 1676 in Besitz. Es kam für kurze Zeit in andere Hände und fiel 1699 an Samuel Friedrich von Rochgau, der 1727 im Schloss verstarb. Dessen Söhne verkauften 1729 beide Burgen samt Zubehör an Ludomilla, verwitwete Laroche von Starkenfels. Im Jahr 1789 veräußerte Karl Friedrich Laroche von Starkenfels das Schloss dem Grafen de Saint Martin. Im Jahr 1802 erbte dessen einzige Tochter Frau von Herding geb. Gräfin des Saint Martin Schloss und Besitz. Von deren Familie kaufte es 1862 Rentner Römer in Alzey, aus dessen Besitz es im Jahr 1899 in das Eigentum des Großherzoglichen Hauses überging.
Von der Blauen Burg, die zwischen dem Ende der Pankratiushofstraße und der Grabengasse stand, sind nur noch zwei Turmtorsos vorhanden. Die Gewann "Das blaue Schloss" am Westende der Niedergasse gehörte wohl damals zum Burgbereich.