彼と生涯を過ごしたい…

こんばんは。
以前にもこちらで、悩みを相談させていただきお世話になりました。うたはです。
彼とは昨年５月に今の関係に進展しました。遠距離中です。
彼は私の９つ歳上で、バツイチ、子どもさんは成人。私は既婚、４人子持ち。昨年末に新居を建てて引っ越ししました。
前回は、海外赴任が決まった彼と音信不通になり、気持ちが不安なまま離ればなれに…
でも、連絡が取れるようになり今はメッセージのやり取りをして仲良くしています。２月には旅行に行く予定です。

そして、今回の相談なのですが…旦那との関係で悩んでいます。
新居に越す年末まで、旦那の家族と16年同居してました。その間、義親と色々あっても助けてもくれなかった、自分の意見が言えない自立してない、友達がいない、実親や他人とのコミュニケーションが取りにくい、責任感行動力のない旦那(結婚前から感じていたことばかり)、なので、同居後からはなかなか尽くしてあげることも出来ず、自立してほしいという気持ちで生活してきました。また、子離れしていない姑、私をろくな嫁じゃない、旦那のしつけがなってないと叱りつけてくる叔父叔母、さらには義父の多額の借金、などなどありまして…
他にも、夜の生活も、私の体調や気持ちよりも自分の勝手だけで襲ってくる…昼間から誘われたり、布団をはぐって足を見てきたり…、お断りしたらキレたり…という旦那がイヤになり体ももう３、４年ほど受け付けられません。今は裸を見るのも見られるのも嫌です。

それなのになぜ新居をと思われるかもしれませんが、生活場所が山奥で不便だったこと、私が同居に耐えられなくなったことがあり、話がようやく進み形になりました。

そんな中で、彼に出会い、本当に愛を感じられ労ってもらい、趣味も同じだし、これから先、一緒にやりたいこと、行きたいところがいっぱいあります。旦那とは出掛けても会話がないし、楽しもう…という感じの人ではないので正直行く気になりません。

可能ならば彼のところにいきたい。
でも、前回の相談にも触れたように、家族を守っている私に魅力を感じてくれている彼。なので、離婚したからと言って受け入れてもらえるかわからないし、そうなったら魅力が無くなって嫌われるかも…。
そして、離婚するにしても私の我慢が足りないだけで、別れる理由になりうるのだろうか…私がもっと旦那を受け入れられる人であれば…とも思います。

もう、色々頭の中はぐちゃぐちゃです。

ただ、今度の旅行では、楽しくてずっと一緒に過ごしたいと彼が思ってくれるようにしたいなぁと思っています。

お叱り、ご意見等色々あるかと思います。
もし、私の考えや意識が変えられるきっかけを頂けるならそうしたいです。

不倫されている方…配偶者か、不倫相手か悩まれるときどのように気持ちを保たれていますか？
心の持ち方を教えて下さい。

 - 不倫