Im Auftrag von Landgraf Wilhelm IV planten und bauten Rochus von Linar und Christoph Müller das Zeughaus im Jahre 1581 im Renaissance-Stil. Es war Teil der Festungsanlagen Kassels, die im 16. und 17. Jahrhundert zu den modernsten in Europa zählten und diente zur Lagerung von Waffen und Munition. Unter Landgraf Karl wandelte sich der Charakter des Zeughauses immer stärker zu einem zentralen Depot der Artillerie. Der erste Stock wurde als Militärmuseum und Ausstellungsraum genutzt.

Während des Siebenjährigen Krieges wurde das Zeughaus 1758 zweimal von französischen Truppen geplündert. Die dabei entstandenen Schäden ließ Landgraf Friedrich II. acht Jahre später beseitigen. Sein Monogramm „FLZH“ (Friedrich Landgraf zu Hessen) über beiden Toren an der Südseite erinnert noch heute daran. Auch während der Napoleonischen Kriege geriet die Stadt Kassel und damit auch das Zeughaus mehrmals in fremde Hände: 1806 transportierten französische Grenadiere 80.000 Gewehre ab, 1813 plünderten russische Kosaken das Gebäude.

Die spektakulärste Plünderung ereignete sich jedoch in der Nacht vom 9. auf den 10. April 1848. Nach einem Übergriff von Mitgliedern der kurfürstlichen Elitereiterei („Garde du Corps“) auf einen Demonstrationszug, brachen aufgebrachte Bürger die Pforte am Westturm des Zeughauses auf, um sich mit dessen Beständen zu bewaffnen. Die aufgebrachten Bürger drohten mit dem Sturz des Kurfürsten und der Ausrufung der Republik. Der Kurfürst gab damals nach, löste die "Garde-du-Corp" auf und blieb im Amt. 14 Jahre später ließ Kurfürst Friedrich Wilhelm am 4. April 1862 die Pforte zumauern, um seine unnachgiebige Haltung gegenüber den Bürgern zu demonstrieren.

Nach der Annexion des Kurfürstentums Hessen durch Preußen (1866) verlor das Zeughaus zunehmend seine militärische Bedeutung. Im 3. Reich gab es Pläne, das Zeughaus zu einem „Deutschen Reichkriegermuseum“ umzugestalten. Doch mit Ausbruch des Zweiten Weltkriegs wurden diese Pläne obsolet. Am 22. Oktober 1943 wurde das Zeughaus beim schweren Bombenangriff der Royal Air Force auf die Kasseler Innenstadt im Inneren fast komplett zerstört, die Außenmauern und Giebel hingegen blieben erhalten.

In der Nachkriegszeit fanden nur Absicherungsmaßnahmen an der Ruine statt. Man suchte nach einem konkreten Verwendungszweck, der einen Wiederaufbau des monumentalen Gebäudes gerechtfertigt hätte. Im Dezember 1972 kam es dann zum Abriss des Nordteiles des Zeughauses, der dem Neubau der Max-Eyth-Schule weichen musste. Damit waren zwei Drittel der Ruine beseitigt. 1974 wurden dann die stark einsturzgefährdeten Gewölbe im verbliebenen Südteil abgerissen.
Die Zeughausruine heute ist nur ein bescheidener Rest des einstmals mächtigen Bauwerks und dient als Denkmal. Der Betrachter wird nicht nur an den Festungsbau des 16. Jahrhunderts, sondern auch an den Untergang der Stadt im Zweiten Weltkrieg erinnert. Gut zu erkennen sind heute noch die Hochwassermarken.