Während der teilweise wochenlangen Aufenthalte der königlichen Familie im nahe gelegenen Hohenschwangau
wurde der Kontakt zu dem geistlichen Herrn aufgenommen. In einem Brief Ludwigs II. vom 9. Oktober 1864 heißt
es: „
Ziemlich oft besuchten wir den Decan von Breitenwang, der stets seinen heiteren Humor beibehält und sich
noch viel mit der Bienenzucht beschäftigt.“ Prominenten Gästen des Königs, wie beispielsweise
Richard Wagner
und Fürst Paul von Thurn und Taxis, wurde die Ehre zuteil, den Decan kennenzulernen. Wenigstens einmal im Jahr
folgte der Decan den Einladungen der bayer. Königsfamilie nach
Hohenschwangau oder in den
Gasthof „Zur Post“ in Reutte. Ludwig II., dem häufig Menschenscheu nachgesagt wurde, hielt den Kontakt zum Dekan stets aufrecht,
wie ein Brief an seine ehem.
Erzieherin vom 16. Juli 1874 bezeugt: „
Den greisen Dekan von Breitenwang, den Du
gewiß Dich gut erinnerst, habe ich jüngst besucht; er ist, trotzdem er über 70 Jahre zählt, noch immer frisch
auf und von bestem Humor.“ Am 12. März 1878 starb Josef Schneller und wurde unter großer Anteilnahme der
Bevölkerung auf dem örtlichen Friedhof beigesetzt.