気分屋で自己中の対処方法

彼とダブル不倫です。彼は50代、私は40代です。
彼とは一度別れまた復活して4ヶ月ですが、以前のようにはなかなか行かないです。独身の頃同じ会社でしたのである程度知ってます。
気分屋なのでその日その時の感情で言うことが変わります。
会えて楽しかったのに、次の日に体調崩したりすると歳だから許してね、とか男として枯れたから、年齢的に恋愛感情薄れたから会いたいとか思わないとか言います。
振り回されないようにするにはどうしたらいいでしょうか？

 - 不倫