Storia di 4 anni con un uomo sposatolei sa qualcosa della nostra storiacosa posso fare io?

Da anni ho una storia con un uomo sposato, entrambi abbiamo figli (io piccoli mentre i suoi sono ormai maggiorenni) Abbiamo iniziato a parlare sul lavoro e da lì come se ci conoscessimo da sempre sono iniziate lunghissime telefonate, incontri
ci siamo innamorati.
Io ho lasciato il mio ormai ex compagno, lui ha confessato alla moglie di essersi innamorato di me (ho sentito lei per telefono quindi so che è vero) ma di fronte ad un dialogo con i figli lui ha deciso di rimanere
Abbiamo provato ad allontanarci più volte senza riuscirci mai davvero ma lui dice di provare un forte dispiacere per lei e di essere bloccato nel parlarle ancora
Cosa posso fare?
Ammetto di essere anche io a non voler chiudere con lui, ho bisogno di averlo nella mia vita ma sento anche il desiderio di una famiglia tutta nostra
Riusciamo a vederci solo di sfuggita ormai
Avrebbe senso parlarne tutti e 3 insieme e chiarire la situazione?
Grazie mille