1833 bezog Marie Caroline von Berry das Palais. Sie war die Witwe des 1820 ermordeten Karl Ferdinand, der als französischer Thronfolger den Titel eines Herzogs von Berry geführt hatte. Zunächst bewohnte sie den zweiten Stock, ab Oktober 1835 auch den ersten. Die straßenseitigen Räume wurden dem schlichten Zeitgeschmack angepasst, der nunmehr unmoderne Stuckdekor verschwand. Das Haus wurde zu einem gesellschaftlichen Mittelpunkt des späten Biedermeier: In den intakt gebliebenen Prunkräumen fanden Veranstaltungen des „adeligen Kasinos“ statt, ab 1850 auch Maskenfeste und Bälle.

1878–1885 wurde das Palais an das k. k. Landes- und Schwurgericht sowie an das Landtafel- und Grundbuchamt vermietet. Die Familie Herberstein hatte hier ihre Güterdirektion eingerichtet. 1939/40 ging das Palais in den Besitz des Landes bzw. „Reichsgaus“ Steiermark über. 1941 nahm es die Bestände des 19. und frühen 20. Jahrhunderts auf, die von der alten „Landesbildergalerie“ abgetrennt und als „Neue Galerie“ im Ostteil des zweiten Stocks untergebracht wurden, während sich im Westteil bis 1963 die Tanzschule Eichler befand. Den Krieg überstand das Palais unbeschädigt.