Gau-Algesheim fiel im Jahr 983 mit dem Reichsland um Bingen an das Mainzer Erzstift. Mit der Verleihung der Stadtrechte durch Kaiser Ludwig IV. im Jahr 1332 und Kaiser Karl IV. im Jahr 1355 war auch die Erlaubnis verbunden, das Dorf mit Mauern, Gräben und anderen Befestigungswerken zu schützen. Die Ringmauer die sich ganz um die Stadt zog, wurde durch einen vorgelagerten tiefen und breiten Graben geschützt. Drei befestigte Torbauten bildeten die Eingänge in das Innere der Stadt, im Süden die Klopp-Pforte, im Osten die Neupforte und im Norden die Heuerpforte. Zwischen diesen Tortürmen befanden sich an strategisch wichtigen Stellen der Ringmauer zehn weitere Türme, von denen zur Zeit Brilmayers der Schlossturm noch teilweise, der Graulturm noch ganz erhalten war. Im Pfälzischen Erbfolgekrieg wurden 1690 auch Teile der Befestigungswerke von den französischen Truppen zerstört. Der Hauptteil wurde nach 1812 abgebaut und zum Straßen- und Häuserbau verwendet. Von den Türmen ist heute nur noch der Graulturm am südöstlichen Ortsrand erhalten. Er ist von einem steinernen Kegeldach gedeckt.