慰謝料請求後の復縁

５年ほど不倫関係（遠距離です）にあった彼がいたのですが、奥様にばれたらしく別れを告げられました。
その後奥様からも、自分も過去に不倫をしていたので私の気持ちも分かるしこれで縁を切るのなら慰謝料の請求はしないというメールが届きました。

ですが２ヶ月後に結局多額の慰謝料を請求されてしまいました。
別れてから１度だけ、私はたとえ会えなくなっても好きだというメールを送りそれを最後に何の連絡もとっていなかったのですが・・・
恐らく、このメールを見られてしまったのかなと思いました。
結局私は一人で100万近くを支払い、縁を切る合意書を3人で交わさせられてしまいまいた。

彼からは別れた後には一度も連絡がないため、どんな気持ちでいるのかも分かりません。
最後のメールには、家族を幸せにしたいからもう連絡はしないで欲しいと。。

実は別れを告げられる直前に、彼から「離婚を視野にちゃんと家族と向き合ってみる」と言われたばかりだったんです。結局彼は家族を選んだのですが・・・

こんな風になってしまいましたが、今も彼が大切だしできれば私と一緒にいて欲しいと思っています。
ですが、何年でも待つという気持ちと、一人で虚しく過ごしているかもしれない未来とが交互に頭をよぎってしまいます。
こんな状況だとやはり難しいでしょうか。

 - 不倫