Das Herbarium ist das Herzstück der botanischen Sammlungen. Es beinhaltet mehr als 650.000 Herbarbelege, wovon jedes einzelne gleichsam als Archivstück das Vorkommen einer bestimmten Pflanzenart an einem bestimmten Ort zur angegebenen Zeit dokumentiert.
Nach und nach werden die Informationen zu den Herbarbelegen in eine Datenbank eingetragen und digitale Fotos von ihnen angefertigt. Derzeit (Stand Juni 2025) sind rund 150.000 Belege online unter www.jacq.org frei abrufbar; die Bezeichnung des Joanneumsherbars lautet GJO. Die Digitalisierung wurde in den Jahren 2023 und 2024 mit Mitteln des Förderprogramms „Kulturerbe digital“ gefördert.