Am Heiligen Abend des Jahres 1884 kam der offizielle Befehl Seiner Majestät, im Ammerwald einen Pavillon, die Amalienburg im Nymphenburger Schlosspark zum Vorbild nehmend, zu errichten.

Ursprünglich hätte dieses Bauwerk, bestehend aus einem zentralen, kreisförmigen Mittelsaal, der von zwei, links und rechts sich befindlichen, hufeisenförmigen Räumen gerahmt wurde, bereits Ende Oktober desselben Jahres fertiggestellt sein sollen, doch häufige Änderungswünsche des Königs machten es unmöglich, diese Frist einzuhalten. Nunmehr sollte der Hubertuspavillon, als „ein kleines Gebäude“ geplant, im August 1886 seine Vollendung finden; das Lesezimmer sollte in blauem, das Speisezimmer in rotem Samt und das Schlafzimmer nach Allerhöchster Entschlussfindung in rosa moiré erstrahlen. Eifrig waren Architekt Julius Hofmann und die tätigen Handwerker mit der Fertigstellung des Rokokobaus beschäftigt, als die Arbeiten unmittelbar nach dem Ableben des Königs eingestellt werden mussten. Die Deckengemälde waren bereits vollendet, was jedoch die Verantwortlichen nicht daran hinderte, das Bauwerk abtragen zu lassen und die Steine zu verkaufen. Die Gemeinde Oberammergau erwarb vier Marmorsäulen von rotem Veroneser Marmor, die heute den Balkon über dem Eingang des Heimatmuseums tragen. Bis auf einige vereinzelte Steine am Originalstandort ist vom einstigen Bauwerk nur die Erinnerung übrig geblieben.