Die Gegend um Armsheim ist schon seit der Jungsteinzeit bewohnt. Auch die Kelten haben einige Gräber in der Gemarkung hinterlassen. Ihnen folgten die Franken, die dem Ort wahrscheinlich seinen Namen gaben. In der Schreibweise "Aribunesheim" (= Heim des Arbwini) erscheint er erstmals in einer Urkunde des Lorscher Codex aus dem Jahr 775. Zur damaligen Zeit war Alsheim Teil des Wormsgaus. Herr im Ort war zunächst das Erzstift Mainz. Der Erzbischof übertrug später Rechte im Dorf und der Vogtei an die Herren von Bolanden und Hohenfels. 1354 trug dann Graf Heinrich von Veldenz den Ort als mainzisches Lehen. 1387 fielen Burg und Stadt Armsheim bei einer Erbteilung an den Grafen Friedrich II. von Veldenz. [Anm. 1]

1438 kam Herzog Ludwig der Schwarze in den Besitz der Armsheimer Burg und ließ sie neu herrichten. Gleichzeitig wurden die Stadtmauern erbaut. Friedrich II. von Veldenz hatte, da er keine männlichen Nachkommen besaß, in einer förmlichen Erbordnung seinen Enkel Ludwig den Schwarzen, der aus der Ehe der Tochter Anna mit dem Pfalzgrafen und Herzog Stephan von Zweibrücken hervorgegangen war, als Erben eingesetzt. Nach einem Streit zwischen Herzog Ludwig dem Schwarzen und seinem Vetter, dem Pfalzgrafen Friedrich I., bekam Letzterer Armsheim in einem Vergleich als Pfand. Doch bereits 1470 kam es erneut zum Streit und zu einer Belagerung. Armsheim galt zu dieser Zeit als eine der am besten befestigten Städte im Nahegau. Aber nach vier Tagen Belagerung musste sich die Stadt ergeben. Kurfürst Friedrich ließ alle Befestigungen samt den Toren und Stadtmauern niederreißen. Nach dem Friedensschluss kam Armsheim 1471 an die Kurpfalz. Im pfälzisch-bayrischen Krieg wurde Armsheim 1504 fast vollständig niedergebrannt. Es verlor seinen Status als Stadt und sank zum Dorf herab. Dem Oberamt Alzey zugeteilt blieb der Ort bis zum Untergang des Kurstaates Ende des 18. Jahrhunderts bei der Pfalzgrafschaft.

Im Jahr 1870 erhielt Armsheim zunächst einen Eisenbahnanschluss nach Bingen und später nach Alzey. 1895 folgte ein Anschluss nach Wendelsheim, 1961 wurde hier allerdings der Personenverkehr eingestellt. Die Strecke wird heute für den Güterverkehr genutzt. [Anm. 2] Seit 1969 ist Armsheim mit der Gemeinde Schimsheim zusammengeschlossen. [Anm. 3]