Amico o altro?

Buongiorno,
da circa 6 mesi esco con un ragazzo della mia stessa età. Fin dall'inizio c'è stato un rapporto particolare, nel senso che lui già dopo due uscite mi ha detto che con me ci poteva essere soltanto amicizia perchè non ero la ragazza giusta per lui, lui voleva stare da solo e non voleva impegni ma nonostante questo voleva comunque frequentarmi come amica. Io, probabilmente sbagliando, ho accettato perchè comunque fisicamente e anche caratterialmente mi piaceva molto.
Dopo circa 2 mesi il rapporto si è evoluto nel senso che è subentrato parzialmente il fattore fisico anche se non siamo mai giunti a un rapporto completo anche perchè lui diceva che non avrebbe mai più fatto sesso con nessuna se non con la sua ultima ragazza, una peruviana, con la quale la rottura del rapporto risale a 3 anni fa.
Comunque il nostro rapporto è continuato con uscite settimanali e con lui che mi è stato anche molto vicino durante la perdita di un animale a me molto caro; insomma, tutto bello se non fosse che lui continua a dire che io fisicamente non lo attraggo più di tanto (anche se poi alla luce dei fatti non è proprio così...), che io non sono la ragazza giusta per lui e che possiamo essere solo amici.
Ora in questo scenario si è ripresentata la famosa ex peruviana che ha ripreso a cercarlo. Questa donna non è una persona molto affidabile, in Perù ha un marito e una bambina e ho saputo da amicizie in comune che con lui stava più che altro per motivi economici; inoltre non è comunque ben vista dalla famiglia di lui. Ora lui non sa che pesci pigliare, dice che non sa se riprovarci o meno e al contempo però vuole mantenere "l'amicizia" con me, infatti domenica sera ci siamo visti e abbiamo anche passato una bella serata; alla fine lui mi ha anche fatto delle avances che io ho respinto dicendogli che se vuole qualcosa con me che vada oltre l'amicizia prima si tolga dalla testa quest'altra donna.
Il mio problema è che io ora non so come comportarmi in questa situazione: da una parte vorrei avere la forza di chiudere il rapporto ma non ci riesco perchè con lui mi trovo bene anche solo come amica, dall'altra spero sempre che ci sia un'evoluzione nel nostro rapporto perchè comunque è palese che insieme stiamo bene e che c'è anche la componente fisica.
Ora mi sto imponendo categoricamente di non cercarlo, infatti la frequenza dei contatti telefonici è un po'diminuita ma comunque nel fine settimana finiamo sempre per vederci e sentirci.
Cosa mi consigliate?Posso sperare che se, come penso, il rapporto con questa donna non dovesse funzionare possa finalmente evolvere il nostro e diventare una vera e propria storia?
Grazie mille