Noduli al seno sx uomo, quando preoccuparsi?

Ciao.
Sono un ragazzo di 21 anni, da piccolo ho sofferto di ginecomastia(13-15 anni) e avevo i vari sintomi come il dolore, il gonfiore e la formazione di ghiandole.
Dopo vari anni(in cui mi sono sempre autopalpato poichè mia madre ha avuto un cancro al seno ed ero in ansia), ho notato che nel lato sx ho molti più noduli e sono più grandi.
Ora dopo altri anni ho notato che la differenza è più marcata, inoltre è da qualche giorno che uno dei noduli; sotto il capezzolo e vicino alla costola, è dolorante.
Non è la prima volta che mi accade di sentire dolore in quel nodulo, ma non ho mai pensato potesse essere grave poichè dopo pochi giorni è sempre sparito.
Se può essere utile, il dolore si fa maggiore quando bevo molti alcolici(lo so che fa male ma capita quando si è giovani, ogni tanto...)
Comunque, avendo avuto sensibilità alla produzione di ormoni femminili(ginecomastia), ho un fisico e ingrassamento "ginoide" e la familiarità con mia madre per tumore digitale infiltrante estrogeni positivo di cm 4.5
Devo preoccuparmi?
Sono a rischio?
Come faccio a distinguere noduli di grasso o comunque benigni?
Ripeto che sono di più in numero e più grandi al lato sx, sotto e di lato al capezzolo è anche sopra a destra.
Di consistenza sembrano abbastanza duri e indolore(tranne uno che mi fa male).
Non ci sono condizioni visibili esterne come pelle a buccia d'arancia o secrezioni.