Ritardo nello sviluppo di caratteri sessuali secondari

Salve,
sono un ragazzo di 20 anni e vi scrivo perchè da qualche anno ho paura di avere una carenza di androgeni. Ho pochissima peluria: un accenno di baffi, ma niente barba e pochissimi peli sotto le ascelle, mentre abbastanza per quanto riguarda il pube e le gambe. La mia voce non è molto virile, anzi è abbastanza stridula, tanto che a volte per telefono l'interlocutore pensa di parlare con una donna. Infine, il mio fisico è abbastanza gracile ed esile. Premetto di aver fatto solo due anni in palestra e di non fare un'alimentazione regolarissima (tendo a consumare molta pasta e carne, ma pochissima frutta e verdura e poco pesce) e di non avere grossi problemi nell'attività sessuale. Quello che vorrei mi fosse chiarito è: mi devo preoccupare? È il caso di recarmi da un andrologo per il dosaggio del testosterone? I miei problemi possono essere causati da una cattiva dieta e poco sport o da un ritardo nello sviluppo?
È abbastanza imbarazzante notare la differenza nel portamento e nei tratti virili tra me e i miei coetanei.
Grazie dell'attenzione.