Das alte Rathaus (in domo consilii), bereits 1277 erwähnt[Anm. 1], war ein gotischer Bau mit steilem, erkergeschmückten Treppengiebel. Es stand in der Nähe der Stadtmauer zwischen Eisenturm und Heilig-Geist-Spital. Der Ratssaal befand sich im Erdgeschoss.[Anm. 2]
Das Gebäude wurde nur bis 1526 als Rathaus genutzt. Anfang des 19. Jahrhunderts wurde das Haus abgerissen. Letzte Reste beseitigte man 1974 im Zuge des Neubaus des Rathauses. Ein spätgotisches Fenstergewände findet sich heute als Spolie im südlichen Anbau des Eisenturms vermauert.
Das neue Mainzer Rathaus wurde im Jahr 1973 nach dem Entwurf der dänischen Architekten Arne Jacobsen und Otto Weitling erbaut. Ratsaal und Foyer werden auch als Forum für Musik, Literatur und Ausstellungen genutzt.