Relazione omosessuale con uomo separato

Buongiorno,
Ho 42 anni, vivo in provincia di Trapani e sono omosessuale.
Vivo la mia omosessualità con moderata discrezione è con il rispetto che merito io stesso e i componenti della mia famiglia. Da oltre 3 anni ho una relazione con un uomo separato di 64 anni di Palermo, che pian piano, da una conoscenza e poi frequentazione si è trasformato in un rapporto intenso, come ad una relazione eterosessuale.
Lui è separato con figli, tutti adulti ma non è dichiarato e il nostro rapporto finora è stato vissuto segretamente, convivendo nella casa che un tempo era quella del suo nucleo familiare.
La mia famiglia, che lo ha conosciuto dopo diversi mesi, e con tempo e fatica lo ha accettato è a conoscenza e consapevole che esiste un rapporto solido e stabile...e questo è il nocciolo della questione.
Ormai da diverso tempo i figli gli chiedono il motivo della mia presenza in quella casa o per quale motivo facciamo scambio di indumenti.... e probabilmente queste domande qualche giorno fa gli hanno fanno decidere di andare via, di troncare il nostro rapporto e tornare nella condizione di uomo separato. Ho vissuto questo momento come una tragedia, con un dolore che era paragonabile ad un lutto... ho messo a conoscenza la mia famiglia, dopo diversi giorni, della fine del nostro rapporto e di tutti i contorni di cui loro, per discrezione, non erano a conoscenza. Mia madre ha iniziato a soffrire questo abbandono anche lei, in maniera piuttosto pesante. Mio padre invece non vuole più vederlo...
Perché lui è tornato, ed è tornato a casa mia, chiedendomi di fare vite separate, di restare ognuno nella propria casa, perché non riesce a sopportare il giudizio dei figli e che vuole anche avere il suo spazio, le sue abitudini, che con me si erano "modificate"...
Adesso, questo cambiamento ha portato in me un profondo squilibrio, perché io devo tornare a trasformare le abitudini sulle quali mi ero "seduto" come un marito o se fa più piacere come una moglie.... Tornare nella mia città da SINGLE o da fidanzato piuttosto che "convivente" non mi fa altro che rimanere a letto per giorni, perdere l'appetito, l'entusiasmo.... il sorriso!
Questa sicurezza che avevo ieri non la respiro più perché non vedo più la stabilità del mio rapporto...io so che sono innamorato, ma non so se lo è lui o se lo è mai stato.... e costringere lui a fare una scelta non avrebbe senso o si!?!?
Vi chiedo,
Dovrei seguire anch'io la mia famiglia? Dovrei provarci ancora? O dovrei lasciare che vada?