Ursprünglich sollte das Projekt in Innsbruck umgesetzt werden, was aber aus politischen Gründen nicht möglich war. Andererseits suchte Johann bereits 1808 ein Haus in Graz, um seine Bibliothek und sonstigen wertvollen Sammlungen aufzustellen. 

Im Jahr 1811 wurde in Graz die revolutionäre Idee von Erzherzog Johann, nämlich einer Kombination von naturwissenschaftlich-technischer Lehranstalt und Museum, Realität.

Als Ort dafür fand sich der Lesliehof in der heutigen Raubergasse 10 in Graz – ein Palais, das vom Graubündener Architekten Domenico Sciassia in den 1670er-Jahren als Stiftshof für das Kloster St. Lambrecht errichtet worden war. Die steirischen Stände erwarben das Gebäude vom Fürsten Dietrichstein und übergaben es an Erzherzog Johann.

Die Vorlieben Johanns lagen im naturwissenschaftlichen Bereich. Seine Privatsammlung mit mehreren Tausend Mineralstufen bildete den Grundstock für die Mineraliensammlung. Friederich Mohs war der erste Professor für Mineralogie und auch der erste Kustos der Sammlung.

Sein Nachfolger Matthias Joseph Anker erweiterte die Sammlung und produzierte mit seiner geologischen Karte der Steiermark eine der ersten dieser Art in Europa.

Die Botanische Sammlung samt Garten war das zweite naturwissenschaftliche Standbein des Joanneums. Im chemischen Laboratorium befasste sich der Professor für Botanik, Lorenz Chrysant Edler von Vest, auch mit Verbesserungsvorschlägen für das steirische Eisenwesen. Fortschritte auf diesem Gebiet lagen dem Erzherzog ebenso sehr am Herzen wie die Weiterentwicklung des weststeirischen Kohlebergbaus, vor allem im Zusammenhang mit dem aufstrebenden Eisenbahnwesen.

Von der Geburtsstunde des Joanneums an war der Botanische Garten ein wesentlicher Bestandteil der naturhistorischen Sammlungen. Dieser sogenannte Joanneumgarten hatte viele Aufgaben zu erfüllen: „Hier vereinigen sich Unterricht in der Botanik, Kunst der Pflanzenpflege, und Verbreitung der gemeinnützigen Gewächse.“ Zuallererst war der Garten also Ort des Unterrichts und der Bildung, die Vorlesungen der Professoren wurden mit dem Anschauungsmaterial im Garten gut ergänzt.

Der relativ kleine Gartengrund anschließend an den Lesliehof bildete die Urzelle des Gartens. Er wurde im Osten begrenzt durch das Joanneumsgebäude, im Norden durch die heutige Landhausgasse, im Westen und Süden von den Basteimauern mit dem Neutorgebäude (in etwa an der heutigen Neutorgasse bzw. Kalchberggasse).

Schon am 24. August 1814 erklärten die Stände, dass die Vergrößerung des Botanischen Gartens eine unabdingbare Notwendigkeit sei. Auf ihre Initiative hin wurde im darauffolgenden Jahr die erste große Erweiterung des Gartens vorgenommen. 

1823 bis 1825 wurde der nächst dem Eisernen Tor befindliche Ravelin – ein Festungsbau mit meist dreieckigem Grundriss, der im Festungsgraben liegend etwas niedriger als die Basteien ausgeführt ist – mit dem Joanneumgarten vereinigt. 

Eine größere Umgestaltung des Gartens begann 1839. Man riss die Bastei- und Stadtmauern vollständig ab und schüttete die noch tiefer liegenden Gartenteile auf. Das kleine Glacis, gekennzeichnet durch seine etwas tiefere Lage, wurde erst 1841 vollkommen eingeebnet und bepflanzt, wodurch sich die südöstliche Grenze des Gartens bis zur heutigen Radetzkystraße schob. Damit hatte der Joanneumgarten mit einer Fläche von rund 5 Hektar seine maximale Ausdehnung erreicht.

Welche Pflanzen im Garten kultiviert werden sollten, darüber hatte Erzherzog Johann sehr klare Vorstellungen. Er wurde dabei von Leopold Trattinnick, dem Kustos im k. k. Naturalienkabinett in Wien, beraten und bestimmte in einem eigenhändig aufgesetzten, umfangreichen Schriftstück, welche Pflanzengruppen vorrangig zu setzen seien. 

Der Garten hatte von Anbeginn an mehreren Zwecken zu dienen: Er lieferte Anschauungsmaterial für den Unterricht, stellte Pflanzen für die Untersuchung durch Wissenschafter bereit, und in ihm konnten Erfahrungen in der Pflanzenkultur gesammelt werden. Von größter Bedeutung war der Tausch von Samen mit anderen Botanischen Gärten, mit Samenhändlern und Berufsgärtnern.

Im Jahr 1850 wurde mit der Anlage einer lebenden steiermärkischen Flora, der „Flora styriaca“, begonnen. Jede in der Steiermark vorkommende Pflanzenart sollte im Joanneumgarten kultiviert werden, das war das ehrgeizige Ziel dieses Projekts, das vor allem vom Botaniker Josef Maly und dem Gärtner Josef Schneller vorangetrieben wurde. 

Bei der ansässigen Stadtbevölkerung, aber auch bei Fremden war der Joanneumgarten ein gern besuchter Park – das wohl insbesondere nach dem Erreichen seiner maximalen Ausdehnung und dem damit verbundenen Verschwinden von Baustellen.

In der Lehranstalt konnten im Lauf der ersten 50 Jahre folgende Fächer studiert bzw. gehört werden: Botanik, Chemie, Physik, Mineralogie, Geognosie, Technologie und Astronomie, Zoologie, Landwirtschaft, Technisch-praktische Mathematik, Darstellende Geometrie, Baukunde sowie Berg- und Hüttenkunde. Auch eine Realschule, die zwar von Anfang an getrennt vom Joanneum geführt wurde, war eine wichtige Vorstufe für einen Besuch der Unterrichtsfächer des Hauses.

Durch den Tod von Erzherzog Johann am 11. Mai 1859 war sein Eigentumsvorbehalt weggefallen und das Joanneum ist Eigentum des Landes geworden. 

Ab 1871 wurde über den Übergang der Technischen Hochschule vom Land an den Staat verhandelt, 1874 wurde die Technische Hochschule organisatorisch vom Staat übernommen und damit vom Joanneum abgetrennt. Gleichzeitig war für die Hochschule im Grundsatz ein Neubau vereinbart worden. 1884 wurde endlich mit dem Neubau in der Rechbauerstraße begonnen. 

An der Karl-Franzens-Universität Graz wurde in der Zwischenzeit eine eigene Lehrkanzel für Botanik eingerichtet, die auch Zugriff auf den Botanischen Garten und das Herbarium am Joanneum haben sollte. 

Am 1. Oktober 1884 beschloss der Landtag, den Joanneumgarten im Jahre 1888 definitiv aufzulassen und zu parzellieren. Das eigens gegründete Comité zur Erhaltung des Joanneumgartens als Parkanlage forderte in der im Dezember 1885 aufgelegten Petition die endgültige „Nichtverbauung des Joanneumgartens und die immerwährende Erhaltung desselben als Gartenanlage“.

Letztendlich verkaufte der Landesausschuss mit Vertrag vom 22. bzw. 27. Mai 1889 den Joanneumgarten an den Bauunternehmer Andrea Franz – für genau jene 470.000 Gulden, die der Landtag als Mindestpreis festgelegt hatte. Die Pflanzenbestände des Joanneumgartens wurden in den neu geschaffenen Botanischen Garten der Karl-Franzens-Universität in der Schubertstraße übersiedelt.

Die Sammlungen und Schaubereiche im Hause Raubergasse 10 wuchsen stetig. Franz Unger, einer der Begründer der Paläobotanik, stellte eine der ersten Schausammlungen auf diesem Gebiet aus.

Als sich der „lehrende“ Teil des Hauses in den 1880er-Jahren in Form der k. k. Technischen Hochschule abspaltete, wurden die Räume neu aufgeteilt und die Einrichtung der Sammlungen war geprägt von dichten Objektarrangements.

Von der Mineralogischen Sammlung wurden nun die Geologisch-Paläontologischen und Bergbaukundlichen Sammlungen in eine eigene Abteilung abgetrennt.

Die Teilung der Biowissenschaften in eine zoologische und botanische Abteilung erfolgte erst 1971. Damit waren auch klare Aufteilungen in den Schausammlungsbereichen verbunden.

Die klassischen systematischen Aufstellungen wurden am Ende des 19. Jahrhunderts neu eingerichtet, Änderungen erfolgten im 20. Jahrhundert nur zaghaft.

Eine vielbeachtete Novität wurde mit einem Meerwasseraquarium geschaffen, für welches das Wasser aus Triest angeliefert wurde. Aus wirtschaftlichen Gründen konnte es allerdings nicht sehr lange betrieben werden. In der Zoologischen Sammlung wurden als weitere Besonderheit in den 1930er-/40er-Jahren zahlreiche Dioramen eingerichtet, für die die bekannte Tiermalerin Norbertine Bresslern-Roth die Entwürfe und vor allem die großformatigen Hintergrundgemälde anfertigte. Dieser Dioramengang wurde erst im Zuge der Vorbereitungsarbeiten zum neuen Naturkundemuseum abgebaut.