Nachdem der Palast als solcher seit dem Hochzeitsfest Heinrichs III. 1043 nicht mehr für Großveranstaltungen des Reiches benutzt wurde, verfiel er und wurde spätestens seit der Stauferzeit in eine burgähnliche große Wehranlage umgewandelt, in der Burgmannen wohnten. Dabei wurden die Außenmauern früherer Palastgebäude (Aula regia, Nordflügel, Halbkreisbau) verstärkt und in Wehrmauern umgewandelt, in die auch Schießscharten gebrochen und ein Wehrgang eingebaut wurden. Auf dem Höhepunkt ihrer Verteidigungsfähigkeit (15. Jh.) hatten sie eine Höhe von ca. 10,50 m und eine Gesamtlänge von 270 m. Von ihnen sind noch erhebliche Teile erhalten bzw. restauriert worden. Eine Zwingermauer mit Vorlagetürmen kam hinzu, die aber völlig verschwunden ist. Erhalten ist auch noch der Stumpf eines mächtigen Eckturmes an der Südwestecke, dessen Benennung schon Sebastian Münster in seiner Cosmographie (16. Jh.) als Bolander überliefert. Ob er etwas mit der 1254 von den Mainzern zerstörten Zollburg der Bolander zu tun hat, ist eine ungesicherte, aber wahrscheinliche Vermutung. Dieser befestigte „Ingelheimer Saal“ wurde dreimal belagert, erstmals 1249 durch den Gegenkönig Wilhelm von Holland, der ihn nach ca. 40 Tagen entweder eroberte oder übergeben bekam, und 1460 bei der Mainzer Stiftsfehde sowie 1504 im bayrischen Erbfolgekrieg – die letzten beide Male vergeblich.