Termine terapia ssri e recrudescenza ansia e depressione

Ho terminato da più di una anno una terapia di durata molto lunga con citalopram, che (in un interperiodo più breve) è stata anche abbastanza massiccia (40 mg). Lo specialista che mi cura mi ha praticamente costretto a terminare la terapia perché erano più di 5 anni che durava. Ovviamente la terapia, che per inciso andava a combattere una depressione con attacchi di panico e agorafobia, ha funzionato molto bene ché di attacchi di panico non v'era l'ombra da anni e la vita sociale, professionale e sentimentale era tornata a livelli più che accettabili (rimaneva una certa misantropia abitudinaria, ma completamente affrontabile).
Il problema è che da quando ho smesso ho piano piano avuto (mi è sembrato in modo perfettamente inversamente proporzionale alla quantità sempre minore di farmaco assunto..) un ritorno dell'ansia e della depressione, a causa devo dire anche di difficoltà esterne che si sono presentate proprio nell'ultimo periodo. Ora addirittura fatico a discernere i sintomi psicogeni da quelli delle mie malattie organiche croniche!
Lo specialista, al compimento della terapia antidepressiva, mi ha prescritto l'alprazolam per tamponare eventuali crisi, cosa che effettivamente è stata necessaria, ma ad un tratto ho realizzato che correvo il rischio di diventare dipendente di una benzodiazepina per lo stesso problema che avevo affrontato e, almeno durante la terapia, risolto senza questa classe di farmaci. Così ho preferito evitare il più possibile l'assunzione, a scapito però, come ben capirete, della qualità della mia vita (assenza da lavoro, restrizione vita sociale), etc.).

La mia domanda è: cosa devo fare!? Io ho capito che non avendo più sintomi e venendo da una terapia SSRI pluriennale il dottore era quasi obbligato a farmela terminare, però la situazione, anche se non grave, comincia ad essere, a mio parere, l'anticamera di una situazione peggiore. E come ben si dice, è meglio prevenire che curare, per cui non voglio arrivare a ridurmi uno straccio per poi capire che forse avevo bisogno di ricominciare con l'antidepressivo.
A gennaio, santa sanità, ho il consulto con lo specialista, intanto mi arrovello, forse sto esagerando?

Grazie per un chiarimento, soprattutto sulla terapia a lungo termine con SSRI. Io durante la terapia stavo BENE e ora sto male, anche se non MALE come quando ho iniziato la terapia. Che significa? Che devo fare?