Das Mainzer Erzstift hatte seit der Karolingerzeit umfangreichen Besitz in der Armsheimer Gemarkung. Der Ort wird 775 erstmals als Aribimesheim, Armodesheim und Arbsheim genannt. Die Vogtei war als mainzisches Lehen zunächst in der Verfügungsgewalt der Herren von Bolanden-Hohenfels, Anfang des 13. Jahrhunderts geriet sie in die Hand der Grafen von Veldenz. Mit der Vogtei scheint auch die Burg an die Veldenzer gefallen zu sein.
Die Burg, im Jahr 1354 erwähnt, fiel 1379 zusammen mit der Stadt anlässlich einer Besitzteilung im Veldenzer Haus an Graf Friedrich II. Als 1438 Herzog Ludwig der Schwarze von Veldenz Burg und Stadt Armsheim als Erbteil erhielt, ließ dieser Stadt und Burg erneut befestigen. Herzog Ludwig der Schwarze lebte in Feindschaft mit seinem Vetter, dem Kurfürsten Friedrich I. Nachdem es schon 1461 zu einer Fehde zwischen den beiden gekommen war, mischte sich Herzog Ludwig neun Jahre später in den Streit Pfalzgraf Friedrichs I. mit der Stadt Weißenburg ein. Im Verlauf dieser sog. Weißenburger Fehde erschien der Pfalzgraf im Juni 1470 vor dem stark befestigten Armsheim und erzwang nach wenigen Tagen Belagerung die Übergabe der Stadt. Der Kurfürst ließ alle Befestigungswerke samt den Toren und Stadtmauern niederreißen. Auch die Burg wurde damals fast vollständig zerstört, die Gräben zugeschüttet. Das heute noch vorhandene Schlossgebäude (Bahnhofstr. 18) ist inschriftlich auf 1574 datiert.