Obwohl sich die Fertigstellung seiner im Bau befindlichen Schlösser infolge der finanziellen Schwierigkeiten verzögerte, beschäftigte sich Ludwig II. unablässig mit weiteren Zukunftsplänen. Auf einer nur mühsam zugänglichen Bergspitze (1277m) bei Pfronten sollte sein viertes Schloss „Falkenstein“ entstehen.

Nachdem der König das Grundstück 1884 zu einem Preis von 500,- DM erworben hatte, wurden umgehend Vorbereitungen, wie dem Bau einer noch heute vorhandenen Straße und der Wasserleitung getroffen, um möglichst rasch mit der Errichtung der gewünschten Burganlage zu beginnen.

Der einstige Traum Seiner Majestät, sich ein privates Refugium zu schaffen, dessen Räume im byzantinischen Stil mit Szenen aus dem Ritterleben gestaltet werden sollten, fand durch den plötzlichen Tod Allerhöchstdesselben keine Verwirklichung mehr und nur noch eine Gedenktafel erinnert an die Aufenthalte und das Vorhaben des Königs. Das Projekt, den Bau der Burg Falkenstein nach vorhandenen Plänen in die Wege zu leiten, wurde nach 1987 erneut aufgegriffen.