Zunächst jedoch war die Landesbildergalerie nicht Teil des „Innerösterreichischen Nationalmuseums“ Joanneum. Eine lokale Zusammenführung der Bestände der Bildergalerie und des Joanneums erfolgte ab 1895 in dem historistischen Museumsneubau in der Neutorgasse 45, in dem die Bildergalerie, die Zeichenakademie (die allerdings nicht zum Joanneum gehörte) und ein neues Kulturhistorisches und Kunstgewerbemuseum untergebracht wurden. Das Gebäude ist heute Teil des Joanneumsviertels und beherbergt Depots und Arbeitsräume der Multimedialen Sammlungen sowie die Neue Galerie Graz.

Aufgrund zahlreicher namhafter Schenkungen (Julie von Benedek, Johann und Joachim Sailler u. a.) war das neue Museumsgebäude jedoch bald zu klein geworden und musste bereits 1900 und 1901 aufgestockt werden. Mit der Neuaufstellung der Galerie 1903 wurde der Leiter der Kulturhistorischen Abteilung, der historistische Bildhauer Karl Lacher betraut.

Waren es im 19. Jahrhundert Künstlerpersönlichkeiten, die den Institutionen – Zeichenakademie und Bildergalerie – vorstanden, so wurde mit der Ernennung von Wilhelm Suida zum Galeriedirektor 1910 die Ära der Kunsthistoriker eingeleitet. Das wissenschaftliche Fach der Kunstgeschichte hatte sich im Laufe des 19. Jahrhunderts etabliert und das 1892 an der Karl-Franzens-Universität in Graz gegründete Institut für Kunstgeschichte arbeitete eng mit der Galerieleitung zusammen.

Unter Wilhelm Suida kam es zur Vereinigung, Neuordnung und Neuaufstellung der Kunstbestände des Landes Steiermark unter wissenschaftlichen Aspekten und zur Zusammenführung der Kunstbestände aus Joanneum und Bildergalerie. Suidas Katalog der „Landesbildergalerie und Skulpturensammlung“ von 1923 ist nach wie vor eine unverzichtbare Quelle für die heutige Sammlungsforschung.

Sein Nachfolger Karl Garzarolli-Thurnlackh setzte seine wissenschaftlichen Schwerpunkte auf „Gotik in der Steiermark“, „Barocke Handzeichnungen“ etc. – damit verbunden waren zahlreiche Erwerbungen in diesem Bereich. Er musste zusätzlich die Galerie durch die Zeit des Zweiten Weltkrieges – inkl. Luftschutzverbringungen, aber auch bedenklicher Neuerwerbungen – führen.

In dieser Zeit, genauer 1941, erfolgte die Teilung der Sammlung in die Alte Galerie und die Neue Galerie. Letztere avancierte zur Anlaufstelle moderner und zeitgenössischer Kunst mit regem Kontakt zu lebenden Künstlerinnen und Künstlern sowie Kunstsammlern und -liebhabern.

Die Alte Galerie bewährte sich als Sammlung Alter Meister mit den drei Sammlungsschwerpunkten mittelalterliche Kunst, Kunst der Frühen Neuzeit und Kupferstichkabinett (graphische Sammlung vom 15. bis zum 18. Jahrhundert).

In der zweiten Hälfte des 20. Jahrhunderts und im beginnenden 21. Jahrhundert widmete sich die Alte Galerie verstärkt dem Ausstellungswesen, oft kombiniert mit wissenschaftlichen Symposien.

Ein weiterer Meilenstein in der Geschichte der Alten Galerie war die Übersiedelung in das Schloss Eggenberg im Westen von Graz mit der Neueröffnung im 1. Stock im Jahre 2005. Besonders bemerkenswert ist hier die nicht streng chronologisch geführte Präsentation bildender Kunst nach Themen. 

Der Blick auf die Erwerbungen der Sammlungen spiegelt gesellschaftspolitische Relevanz und historische Ereignisse sehr gut wider. Zum einen fällt auf, dass im 19. Jahrhundert vorwiegend Gemälde ins Inventar kamen. Plastiken wurden vermehrt im 20. Jahrhundert erworben, zum Teil durch die Wirtschaftskrise in den 1920er- und 1930er-Jahren, zum Teil auch durch die günstigen Ankäufe während der Kriegszeit und der Jahre danach. Waren es im 19. Jahrhundert vorwiegend Schenkungen und Legate aus wohlhabenden Häusern, so erweiterte sich die Sammlung im 20. Jahrhundert vor allem durch Ankäufe, aber auch durch Übernahmen aus anderen Abteilungen wie z. B. jene der über 120 Glasgemälde von der Kunstgewerblichen Sammlung im Jahr 1988.

Seit 2005 bereichern namhafte Leihgaben die Präsentation in Schloss Eggenberg: aus der Sammlung Thyssen-Bornemisza waren bis 2018 sowohl mittelalterliche als auch neuzeitliche Objekte von europäischem Rang in der Alten Galerie zu sehen. Ab 2019 sind mehr als 20 Gemälde des niederländischen Goldenen Zeitalters aus der Kaiserschild-Stiftung, Sammlung Hans Riegel, Bonn, zusätzlich zum hauseigenen Bestand ausgestellt.