Im 16. Jahrhundert starben die Schwangauer Ritter aus und die Burg war somit dem Verfall preisgegeben.
Wegen der herrlichen Lage wurde die Ruine vom damaligen Kronprinzen Maximilian, dem späteren
König Maximilian II. und Vater König Ludwig II., gekauft und 1832
bis 1836 restauriert. Im Schlosspark steht ein Schwanenbrunnen von Ludwig Schwanthaler.