Es kann als gesichert gelten, daß Karl der Große selbst die neue Pfalz geplant hat. So entstand einer der bedeutendsten Großbauten des Mittelalters mit reicher Ausstattung. Karls Biograph Einhard (770-840) erwähnte in seiner »Vita Caroli Magni« ausdrücklich nur Nimwegen und Ingelheim als besonders glanzvolle Bauten des Kaisers.

Die Kernanlage der Pfalz in Ingelheim war 142 m lang und 114 m breit. Sie bestand aus einem dreiflügeligen Rechteck und einem im Osten anschließenden Halbkreis mit Säulengang von 87 m Durchmesser. Diese Architektur ist einmalig und sonst an keiner anderen Stelle nachgewiesen. Dem Halbkreis vorgelagert waren sechs Rundtürme, die teilweise von Wasserkanälen durchzogen sind. Die Türme sind zu schwach, als daß man von einer befestigten Anlage sprechen könnte. In der frühen Karolingerzeit waren die Pfalzen im allgemeinen unbefestigt. Erst mit zunehmender äußerer Bedrohung wurden sie seit dem 9. Jahrhundert befestigt und erhielten Burgcharakter.

Der Zugang erfolgte von Osten durch eine zwischen zwei Türmen angelegte Eingangshalle (Heidesheimer Tor). In Ingelheim finden sich alle baulichen Grundelemente einer Pfalz: Innerhalb des Pfalzgeländes befanden sich die Wohnräume für den Herrscher und seine engsten Angehörigen sowie weitere Gebäude. Dem Eingang gegenüber lag das Repräsentationsgebäude der Pfalz, die aula regia, wo die öffentlichen Regierungshandlungen (Hoftage, Rechtsprechung, Empfang von offiziellen Gästen) stattfanden. Eine Kirche bzw. Kapelle innerhalb der Pfalz aus der Zeit Karls des Großen konnte bislang nicht gefunden werden. Eine Saalkirche läßt sich erst für ottonische Zeit, d.h. das 10. Jahrhundert, nachweisen. Wirtschaftshöfe zur Versorgung der Pfalz lagen außerhalb des Geländes.