Armsheim, seit 1387 mit Stadtrechten begabt, wurde seit 1438 durch Herzog Ludwig den Schwarzen, der bei der Pfälzischen Erbteilung Armsheim bekam, verwaltet. Dieser ließ eine Wasserburg und eine Ortsbefestigung mit Mauern, Türmen,Gräben und Wällen errichten. Die beiden Tore, durch die man in das Dorf gelangen konnte, waren die "Ober-Pfort" im Norden, und die"Unter-Pfort" im Süden. Reste der ehemaligen Oberpforte sind noch vorhanden, während die Unterpforte vollständig verschwunden ist. Auch ein Teil des Walles und des Grabens der ehemaligen Befestigung war um 1900 noch an der Nordseite des Dorfes zu sehen. Er heißt Bittelgraben (Billgraben) und war teilweise von gewaltigen Effenbäumen bewachsen.
Im Streit zwischen Kurfürst Friedrich von der Pfalz und Herzog Ludwig dem Schwarzen erschien dieser im Juni 1470 mit einem Belagerungsheer vor der Stadt Armsheim. Sie galt zwar damals im ganzen Nahegau als die am stärksten befestigte Stadt und war auch mit einer starken Besatzung versehen, doch als nach vier Tagen Belagerung der Sturmangriff drohte, gaben die Belagerten auf. Sie übergaben sich und die Stadt am 30.06.1470 dem Kurfürsten. In der Stadt traf man noch 18 Ritter, 42 Reisige und 50 Fußknechte an. Der Kurfürst schonte die Stadt nicht und ließ alle Befestigungen samt den Toren und Stadtmauern einreißen. Dermaßen entfestigt sank Armsheim danach wieder zum Dorf herab.

Auch der Armsheimer Kirchhof war früher befestigt. Die mit Scharten versehene Mauer und Architekturreste am Turm zeugen noch heute davon.