Rapporti con ex moglie e figli

Buongiorno,

quasi un anno fa ho conosciuto un uomo non proprio "felicemente sposato", da un'amicizia è poi nato un amore profondo che ci ha portato inizialmente a interrompere a fatica la relazione per evitare danni morali soprattutto ai suoi figli, ma, dopo qualche mese, lui ha preso la decisione di lasciare la famiglia. Attualmente vive solo, e tra noi va tutto bene, ci vediamo quando è possibile, dando ovviamente la priorità ai suoi figli. Io però, non riesco a farmi scivolare addosso le reazioni della sua ex moglie, che, nonostante non ci sia mai stata occasione di "conoscerci", continua a spaventarmi dando la colpa a me di tutto quanto, inventandosi situazioni, per mettermi in cattiva luce nei confronti del mio compagno... e inoltre, scarica molte delle sue tensioni (più che comprensibili) sulla figlia più grande, che si sta, di conseguenza, a differenza del fratello, allontanando dal padre; non vuole nemmeno andare a casa sua.
Io capisco la situazione e il dolore che si possa provare di fronte ad una separazione, capisco che sia difficile accettare una nuova vita non voluta, ma purtroppo ho un'emotività tale che, nonostante il mio compagno cerchi di lasciarmi fuori e rassicurarmi, non mi permette di vivere tranquillamente questo momento delicato. E infatti ho incominciato ad avere degli attacchi d'ansia che si ripetono anche sul lavoro quando non ci sono "pericoli" e ad avere paura ogni volta che vado da lui, ogni volta che gli suona il telefono e ogni volta che esco di casa.
Non so come affrontare la situazione, in cuor mio so di essere nel giusto, con la consapevolezza di essere l'effetto della fine di un matrimonio e non la causa; ma nonostante tutto ho grandi sensi di colpa e non riesco a lasciarmi andare con il mio compagno, quando dovrei invece essere il suo punto di forza.