Erzherzog Karl II. übernahm nach dem Tod seines Vaters Ferdinand I. 1564 die Herrschaft über den südöstlichen Teil der österreichischen Erblande: Innerösterreich. Dazu gehörten die Herzogtümer Steiermark, Kärnten, Krain sowie Gebiete der Grafschaft Görz, Teile Istriens und Friauls sowie die beiden adriatischen Hafenstädte Triest und Fiume. Graz wählte er als seine Haupt- und Residenzstadt, da sie aufgrund der guten Befestigung und baulichen Einrichtungen am besten dafür geeignet schien.

Die Regierungszeit seines Vaters war einerseits durch konfessionelle Spannungen zwischen den protestantischen Landständen und katholischen Habsburgern und andererseits durch die osmanische Expansion geprägt. Innerösterreich grenzte unmittelbar an jene Gebiete im Süden Kroatiens und Ungarns, die bereits von den Osmanen kontrolliert wurden. Ab 1522 entstand daher im nahezu entvölkerten Kroatien zwischen Osmanen und Habsburgern eine Pufferzone, die als Militärgrenze bezeichnet wurde. Die administrative Verwaltung der Grenze erfolgte gemeinsam mit Vertretern der Landstände und des innerösterreichischen Hofkriegsrates von Graz aus.

Erzherzog Karl II. starb 1590 in Graz und wurde im Stift Seckau begraben. Auf seinem Hochgrab ist er in voller Rüstung abgebildet. Das Original dieser Rüstung steht heute im Landeszeughaus. Sie wurde um 1560 vom Augsburger Plattner Conrad Richter gefertigt, den die steirischen Landstände aufgrund seines hervorragenden Rufes nach Graz geholt hatten. Karl II. dürfte diesen Feldküriss 1566 beim Feldzug gegen die Osmanen getragen haben.