Gelosia che fa male

Salve,
mi rivolgo a voi per capire se e in che cosa sbaglio.
Io ho 25 anni ed ho un rapporto, ormai anche di convivenza, da tre anni con un uomo di 20 anni più di me.
Lui è stato sposato ed è separato con tre figli grandi più che maggiorenni quasi della mia età.
Io e lui stiamo molto bene assime e non mi da mai assolutamente motivo di dubitare dei sui sentimenti nei miei confronti, anzi stiamo davvero molto bene assieme e siamo molto complici. Abbiamo anche un bellissimo rapporto con le nostre rispettive famiglie, lui con la mia ed io con i suoi figli.
Il punto è che ho paura!!! So che i suoi figli sono la prima cosa al mondo per lui, e so anche che con la sua ex moglie (lui si ostina a chiamarla ex, ma di fatto sono ancora marito e moglie anche se separati da ormai quasi 10 anni!!!!) ha passato momenti felici e momenti difficili e che con lei ha fatto tre figli. Eppure provo dentro di me un sentimento di gelosia che mi fa stare male, davvero male. Provo gelosia per la sua vita passata, la provo quando si sentono loro due anche se lui mi dice sempre tutto di quello che si dicono...insomma mi rende partecipe dei suoi rapporti con i figli e la sua ex, quindi so esattamente dei problemi e delle gestioni che si devono fare. Provo gelosia quando magari siamo a tavola io e lui con i suoi figli ed il discorso cade inevitabilmente sulla sua vita passata quando erano tutti insieme, quando cade magari sulla loro mamma. Ed ho paura di non poter realizzare i miei desideri di una famiglia, di poter avere dei figli con lui, di potermi sposare con lui. Ho paura di non riuscire a realizzare i miei sogni, ho paura che non sarà mai come quando lui si è sposato la prima volta ed ho paura che per lui sarà sempre quella la sua famiglia ed io sarò sempre dopo, quella che comprende, quella che è buona.
Anche per dire adesso....lui ha dei problemi di gestione di uno dei figli ed appunto mi spiegava quali...ed allora mi diceva che vuole fare una riunione con tutta la famiglia per capire e sistemare alcune cose. Cavoli...di questo provo una gelosia folle...ho paura che tutti andranno nella casa dove stiamo, che la sua ex entri nella nostra casa, dove ci sono le mie cose, dove ci sono io che sistemo in casa, che organizzo, dove ci sono i miei mobili ecc...
Di tutto questo provo gelosia e paura. E poi lui dice che appena è sistemato economicamente la prima cosa che fa è il divorzio...ok ma ho paura che in realtà questo divorzio non lo voglia fare nel fondo del suo cuore.
Ed anche quando ci sono i suoi figli io vedo nelle sfumature dei loro comportamenti....mi sembra quasi che non riescano a vedere che siamo un NOI ma mi pare quasi che vedano solo LUI, LUI con me e penso che non riescano a percepire un io e lui come NOI.
A volte penso che forse per il bene dei ragazzi dovrebbe tornare indietro dalla sua famiglia....lui comunque mi dice che il suo rapporto con la sua ex moglie è chiuso definitivamente e che è impensabile che possa tornare indietro.
Cosa dovrei fare