Die Martinsburg wurde 1244 als Wasserburg gebaut und 1332 in die Stadtbefestigung als kurmainzische Zollburg integriert. Seitdem wurde sie schrittweise erweitert. Im Süden steht ein fünfgeschossiger sechseckiger Hauptturm. Der Seitenflügel wurde 1712 unter Graf Franz Lothar von Schönborn erweitert und war Sitz des Hauptzollamtes. Die Wassergräben sind heute aufgefüllt. Im Keller des barocken Südwestflügels findet man Reste des Gründungsbaus von 1244. der viergeschossige Wohnturm im Nordwesten wurde vom Erzbischof Gerlach Graf von Nassau (1346-71) gebaut. Das Randhauskastell entstand unter den Erzbischöfen Konrad II. von Weinsberg und Johann Graf von Nassau. Aus dieser Zeit stammt auch die stadtseitige Wehrmauer mit einem Burgtor, der zweischgeschossige Saalbau mit zweischiffigem, kreuzgratgewölbtem Erdgeschoss und die feldseitigen Ecktürme sowie der sechseckige Hauptturm, der als Bergfried und Wohnturm diente und dessen Zinnen mit mannshohen Wappen verziert waren und unter Erzbischof Friedrich Josef von Erthal mit Stuck geschmückt wurde.
Unter dem Erzbischof Berthold von Henneberg entstanden die Wohngebäude an der Südmauer und der Wehrgang. Schön ist der Erker im Nordflügel mit netzgewölbtem Obergeschoss.