Der Bereich der Eltzer Höfe an der Bauhofstraße und Mittleren Bleiche mutet im Vergleich zu den anderen Barockbauten der damaligen Zeit schlicht an. 1742/43 wurde das Gebäude als Hof der Grafen von Eltz errichtet. Das später an der Ecke Mittlere Bleiche, Bauhofstraße für Hugo Phlipp von Dalberg errichtete Stadtpalais wurde 1774 von Anselm Kasimir von Eltz gekauft. Nachdem die Eltzer Höfe im Zweiten Weltkrieg zerstört worden waren, wurde 1964/65 die Fassade wieder aufgebaut.