Seit der ersten Hälfte des 14. Jahrhunderts (Baubeginn um 1320) war Linz mit einer mehrere Meter hohen Stadtmauer aus Basalt und Bruchstein mit vier großen Stadttoren befestigt, von denen zwei erhalten sind. Markanter Punkt im Panorama der Stadt ist bis heute das wuchtige Rheintor mit angeschlossenem Zollhaus. Es handelt sich allerdings nicht mehr um den ursprünglichen Torbau, denn der Turm wurde im 15. oder 16. Jahrhundert neu errichtet und seitdem in seinem Aussehen mehrfach verändert. Vom rechts daneben liegenden Zollhaus gelangten die Zöllner durch eine kleine Pforte in der Stadtmauer direkt zur Anlegestelle am Rheinufer. Während der häufigen Überschwemmungen, von denen Hochwassermarken aus mehreren Jahrhunderten am Rheintor zeugen, sicherte ein bedachter Wehrgang auf der Stadtmauer die Verbindung vom Zollhaus zur Burg. Rheinzoll wurde in Linz von 1365 bis 1803 erhoben und war äußerst einträglich für die Stadt, denn jedes Schiff musste an der Zollstelle halt machen und seine Waren taxieren lassen.

Von den ehemals vier Linzer Stadttoren sind das Neutor und das Rheintor erhalten. Das ehemals an der Nordseite der Stadt gelegene Grabentor wurde 1863, das an der Südseite gelegene Leetor 1879 abgebrochen. Das Neutor war das östlichste der Stadttore und wurde vermutlich nach dem großen Stadtbrand von 1391 errichtet. Die auf das Tor zuführende Neustraße weist zahlreiche Fachwerkbauten auch jüngeren Datums auf, die zum Teil nicht dem rheinischen Fachwerk folgen, sondern eigene Stilrichtungen verkörpern. Von der Neustraße zweigt die Gasse Auf dem Berg ab, wo sich bis 1938 die Synagoge der ehemaligen jüdischen Gemeinde befand. Eine Gedenktafel an dem Gebäude erinnert daran. Auf der Stadtseite des Neutors steht symbolisiert die Bronzeplastik des Klapperjungen der Linzer Künstlerin Inge Heim den rheinischen Brauch, dass an Karfreitag und Karsamstag, wenn die Kirchenglocken schweigen, morgens, mittags und abends Jungen und Mädchen mit Holzklappern durch die Straßen ziehen, um das Geläut zu ersetzen.