Im Mittelalter waren die Eingänge des Ortes durch feste Burghäuser geschützt. Von der Befestigung des auf dem östlichen Felshang gelegenen Augustinerklosters (heute Heiligkreuzkirche) steht noch ein Rundturm, der sog. Heribertsturm, der als Glockenturm genutzt wird.
1672 wurde im Zuge der Umgestaltung des Ortes eine Ringmauer errichtet. Sie führte vom Kapuzinerkloster über das Blindtal und das Augustinerkloster zum heute noch stehenden Viereckturm (Gesellenhaus) und zum Rundturm am Sauerbrunnen (Haus Nr.25/26) und von dort zur Festung.
Die 1854 begonnene Neubefestigung wurde 1892 bis auf den Mauerzug unter dem Helfenstein mit einem der Türme niedergelegt.