Լյուդովիկոս IIը, ըստ վարկածներից մեկի, ամբողջ կյանքի ընթացքում սիրել է միայն մի կնոջ՝ Ավստրիայի կայսրուհի Սիսիիին, որը նրա հարազատն էր և մանկուց գրեթե միասին էին մեծացել։ Սակայն քանի որ Սիսին պետք է ամուսնանար Ավստրիայի կայսրի հետ, Լյուդովիկոսը առաջարկություն է անում Սիսիի քրոջը՝ Սոֆյային։ Սակայն հետո չեղարկում նշանադրությունը։

Կանանց հանդեպ սառնասիրտ Լյուդովիկոսը այլ կիրք ուներ։ Հայտնի կոմպոզիտոր Ռիխարդ Վագները, ում թագավորը հրավիրել էր Մյունխեն և չէր խնայում նրա համար ոչ մի միջոց։ Չար լեզուներն ասում են, որ թագավորի ու Վագների միջև սիրային կապ կար։ 
Այդ ահռելի ծախսերը ու թագավորի տարվածությունը Վագներով դուր չէին գալիս թե՛ թագավորի ընտանիքին, թե՛ կառավարությանն ու խորհրդարանին։ Վագները ստիպված էր հեռանալ Բավարիայից։ Բայց Լյուդովիկոսը նրան գաղտնի այցելում էր նաև Շվեյցարիայում։ 
Պահպանվել է այդ տարիների նրանց սիրատոչոր նամակագրությունը։

Վագների մահը Լյուդովիկոսը շատ ծանր տարավ։ Նա ցերեկները քնում էր, իսկ գիշերները դուրս գալիս զբոսանքի։ 
1886 թվականին թագավորը անմեղսունակ ճանաչվեց։ Հոգեբույժի եզրակացությունը հիմնված էր միայն նամակների և վկայությունների վրա, քանի որ որևէ մեկը, այնուամենայնիվ, չէր համարձակվում զննել թագավորին։ 
Կա վարկած, որ Լյուդովիկոս II-ին խելագար ճանաչելը նրանից ազատվելու՝ վարչապետ Լուտցի դավադրությունն էր։

Ոչ պակաս տարօրինակ է նաև թագավորի մահը։ Փաստացի մեկուսացած և հսկողության ներքո ապրող Լյուդովիկոս IIի և նրա բժշկի դիերը հայտնաբերել են Շվանշեն լճում։ 
Ինքնասպանության և սպանության վարկածը հավասարապես գոյություն ունենալու իրավունք ունեն...

Հավելեմ նաև, որ Նոյշվանշտայն սիրում էր այցելել մեկ այլ կոմպոզիտոր՝ Չայկովսկին, ով հենց այդտեղ է մտահղացել գրել իր Կարապի լիճ բալետը։ Ի դեպ, Չայկովսկու մասին նույնպես ասում են, որ միասեռական է եղել։