Mit Maximiliane Freiin von Gumppenberg-Pöttmes (1850-1937), die er am 18. Mai 1867 ehelichte, hatte er vier
Kinder – Ludwig Karl, Karoline Adolfine, Karl Theodor und Adolf Karl. Jahrelang erfreute sich die
„Pferde-Exzellenz“, wie er häufig genannt wurde, größter Beliebtheit bei Seiner Majestät, der ihn als
„treuen anhänglichen“ Grafen bezeichnete. So fungierte er beispielsweise im Vorfeld der Reichsgründung 1871
als Mittelsmann zwischen seinem königlichen Herrn und
Fürst Bismarck und erhielt für seine Tätigkeit als
Überbringer der Welfenfonds-Millionen an den König 10 % Provision. An der Entmündigung Ludwigs II. hatte
Holnstein, der 1883 in Ungnade gefallen war, wesentlichen Anteil und wurde zum Vormund des Königs bestimmt.
"Wenn ich dem König schade, will ich erblinden", soll der Graf einmal gesagt haben. Nach des Königs unverhofftem
Ableben blieb er bis 1893 Oberststallmeister bei
Prinzregent Luitpold. Am 1. Februar 1895 starb Graf von
Holnstein völlig erblindet auf seinem Landschloss Schwarzenfeld. Im 1882-1884 in seinem Auftrag erbauten
Mausoleum auf dem örtlichen Friedhof hat der Graf seine letzte Ruhestätte gefunden.