Max II. ließ dem 1640 unweit des Ufers errichteten
Schloss vier Ecktürme mit Zinnen hinzufügen, denen unter der Regierung Ludwig II. noch ein größerer Turm
namens „Isolde“ folgte. Die Inneneinrichtung des zweiten Stockwerkes der fürstlichen Villa war im Gegensatz zu des Königs Schlössern
recht schlicht gehalten und bestand aus einem Arbeitszimmer, einem Speisezimmer und einem in seiner
Lieblingsfarbe Blau gehaltenen Schlafzimmer. Berg wurde ein beliebter Aufenthaltsort Ludwig II. und so reiste
er alljährlich am 11. Mai dorthin und empfing u.a. die russische
Zarin und
Richard Wagner, für den er im nahe
gelegenen Kempfenhausen die Villa Pellet, das heutige Landschulheim, mietete. Leider war Schloss Berg auch
Ausgangspunkt des Spazierganges am 13. Juni 1886, von dem der König und sein ihn begleitender
Arzt nicht
zurückkehrten und nur mehr tot aus den kalten Fluten des Sees geborgen werden konnten. Die kleine gotische
Kapelle, die der König 1876 im Schlosspark errichten ließ, befindet sich, wie der Schlossbau selbst, in
wittelsbachischem Besitz und ist für die Öffentlichkeit nicht zugänglich.
