Der zweigeschossige Bau unter dem vergoldeten Aluminiumross diente früher als Marstall des Kurfürsten. Er wurde zusammen mit dem Wohnhaus an der Schießgartenstraße und einem Hofflügel 1766/67 nach Plänen des Baudirektors Jakob Josef Schneider errichtet. Das Wohnhaus an der Bauhofstraße 1, das Haus des Oberstallmeisters, wurde schon vor 1750 erbaut und diente als kürfürstliche Kameralverwaltung und Gästehaus. Bis 1770 entstand an der Mittleren Bleiche eine Reithalle. Kurfürst Emmerich Joseph Breidbach-Bürresheim ließ die Halle mit zwei prächtigen Emporen ausstatten. Zwischen 1793 bis 1797 und nochmals zwischen 1805 und 1833 war in dem Gebäude ein Theater eingerichtet. Zwischen 1815 und 1930 diente der Komplex als Quartier verschiedener Kavalerieregimenter.
Nach dem 2. Weltkrieg wurde im Innenhof der Kaserne ein gemeinsames Magazin für das seit 1937 im Marstall einquartierte städtische Altertumsmuseum und die Städtische Gemäldegalerie, die sich im Kurfürstlichen Schloss befand, eingerichtet.
Im Jahr 1986 benannte man Altertumsmuseum und Gemäldegalerie in "Landesmuseum Mainz" um. Die volkstümliche Bezeichnung „Golden-Ross-Kaserne" hat sich aber bis heute erhalten.