Den Namen trägt der Turm vom Druselbach, der hier an die Stadtmauer herangeleitet wurde, um den Stadtgraben und den Druselteich vor dem Turm (jetzt Druselplatz) zu speisen. Von hier wurde das Wasser regelmäßig durch die Gassen der Altstadt geleitet, um sie zu reinigen.
Der Turm wurde zur Verstärkung der Stadtmauer errichtet und diente als Gefängnis mit tiefen Verliesen, in die die Gefangenen durch ein kreisrundes Loch, das Astloch genannt, hinuntergelassen wurden. Philipp der Großmütige ließ die Gefangenenzellen mit Heizungen versehen. Was es heißt, in einer kalten Zelle zu sitzen, hatte er am eigenen Leib erfahren, als er in den Niederlanden als Gefangener des Kaisers bis 1552 in strenger Haft gehalten wurde.
Im Bereich Hedwigstraße zwischen Unterer Königsstraße und Oberster Gasse ist der ehemalige Verlauf der Stadtmauer durch farbiges Pflaster kenntlich gemacht.