Perché vuole farmi soffrire?

Salve a tutti voi,
Sono una donna di 35 anni e da circa un anno lavoro in una compagnia in cui da subito mi sono rivelata l'anello "debole" del team in quanto persona con minor esperienza nel settore.
Non sono mai riuscita a farmi vedere come competente e sicura nel mio lavoro, che mi ha portato ad accumulare molte insicurezze nonché la paura di perdere il posto.

In questa compagnia ho conosciuto una persona, un collega della mia età (sposato e con figli), che ha iniziato a mostrare del velato interesse nei miei confronti.
Questo interesse si è concretizzato durante una cena aziendale in cui si è anche bevuto molto.
Io e il mio collega siamo finiti a letto.
Lui, al contrario di me, è sempre stato molto sicuro di sé.

Io non ho mai pensato di averci un futuro, ma mi piace.

Nei giorni seguenti al fatto mi ha evitato come la peste, facendomi sentire estremamente a disagio, probabilmente conscio di avermi ferito e preso dalla paranoia.

In seguito a delle ferie ha incominciato inspiegabilmente a provarci di nuovo fisicamente, fino a quando scherzosamente gli ho detto che se gli piacevo poteva invitarmi a cena (cosa che non pensavo avrebbe fatto, ma era per sdrammatizzare una situazione per me di disagio).
Allora lui ha rimarcato il fatto di essere sposato e che la cosa doveva finire lì.

Io non ho mai insistito, pur essendoci stata male per il rifiuto.
E a questa cosa è seguito un suo periodo di freddezza assoluta.

Tuttavia, tempo un mesetto, è arrivata nuovamente una fase in cui ha iniziato a provarci attraverso battutine sulla mia persona, sfottò, richieste velate e bacetti con la mano.
Io ero estremamente innervosita perché mi ero convinta che a lui non piacessi davvero, ma che mi volesse prendere in giro per farmi mobbing e che volesse avere potere su di me.

Ma l'altro giorno, quando eravamo da soli in ufficio, ha ripreso con le sue avances e abbiamo finalmente avuto un dialogo.
Mi ha detto che non sapeva come fare perché gli sembrava di fare pressing nei miei confronti, e che le sue battutine sulla mia altezza ecc.
erano perché mi trovava molto bella e dolce.
Però mi aveva sottolineato di avere molto da perdere e che si sentiva insicuro, per via della sua relazione, e che non voleva che mi aspettassi di più.
Io ho interpretato questa sua dichiarazione come una sorta di chiarimento e un'ammissione di colpa, e quindi c'è stato un nuovo atto.
Subito dopo l'atto, mi ha detto freddamente "è stata una cazzata" e ha iniziato a ignorarmi fino a nemmeno guardarmi in faccia.
Io non me lo aspettavo perché pensavo che ora le cose fossero chiare.
Non solo mi sento usata, ma sono arrivata al punto di provare disagio quando vado a lavoro perché non riesco a lavorare serenamente con lui.
Mi chiedo che motivo abbia lui di trattarmi così, e soprattutto perché lo faccia dato che non ho mai preteso nulla ed è sempre lui a venire da me.
Sembra quasi che lui ci goda nel farmi soffrire, e nonostante questa consapevolezza a me piace ancora.
Come faccio a uscirne?