Als Dieter von Isenburg 1475 zum zweiten Mal Erzbischof in Mainz wurde, überließ er in seiner Wahlkapitulation die Stadt Mainz dem Domkapitel und gestattete ihm, bei dem Grynsthurm eine Burg zu erbauen, um die Bürger in Schach halten zu können. Doch die Mainzer empörten sich am 22.7.1476 und beseitigten die Herrschaft des Domkapitels. Erzbischof Diether von Isenburg unterwarf die Stadt und baute zwischen 1477 und 1481 die Martinsburg. Damit verlegte er die erzbischöfliche Residenz vom Dom an den Nordwestrand der Stadt. Die spätgotische Anlage wurde zur Keimzelle eines umfangreichen Baukomplexes der kurfürstlichen Hofhaltung, deren Mittelpunkt das ab 1627 in dreijähriger Bauzeit unmittelbar daneben errichtete Renaissanceschloss werden sollte. Unter Georg Friedrich von Greiffenklau entstand der Rheinflügel des jetzigen Palastbaus. Der anschließende Nordflügel wurde 1687 unter Kurfürst Anselm Franz von Ingelheim begonnen und 1750 unter Johann Friedrich Carl von Ostheim nach Entwürfen von Anselm Franz Freiherr von Ritter zu Grünstein fertiggestellt.
Bis 1792 blieb das Schloß die Residenz der Mainzer Erzbischöfe . Während der französischen Belagerung wurde es von den Mainzer Klubisten als Versammlungsort genutzt. Am 01.10.1804 beschloss Napoleon mit dem Kaiserlichen Dekret Nr.325, die Martinsburg (vieux château) am Rhein niederzulegen (sera démoli). Zuvor hatte das Gebäude als palais électorale gedient. Das durch den Abriss gewonnene Steinmaterial sollte für den Brücken- und Straßenbau bzw. die geplanten neuen Hafenanlagen verwendet werden.
Im Jahr 1809 wurde die Martinsburg abgebrochen. Dies geschah während einer Zeit, als auch zahlreiche andere bedeutsame Bauten in Mainz, wie etwa das mittelalterliche Kaufhaus und die Liebfrauenkirche, abgerissen wurden. Nach Auflösung des Kurstaates diente das Schloß als Kaserne, Lazarett und Zollhaus des nahegelegenen Freihafens. Aus dieser Zeit stammt die 1807 errichteteSteinhalle.