家族の話を聞かない

初めて相談させていただきます。
約1年程職場の先輩と不倫関係になってます。
深い関係になってからは1年も経ってないのですが彼から奥様、お子さんの話を聞きません。
他のご家族の話はよく聞きます。母や父、従兄弟や過去の話など。
職場に入ってから家庭の話はほとんど聞いたこともなく、下の子が生まれた時も生まれる直前に職場のみんなが知ったという形で普段から話さないです。
違う先輩が聞けば子供の話はしてるみたいですがすぐ話を変えあまり語りません。
他の既婚男性（不倫関係ではない)方とお話しするときは子どもの写真見せてくれたり奥さん自慢を聞かされたりしてたので疑問しか浮かばず。
直接聞くのもわざわざ自分から不安の種をまくような気がして聞けず今まで来てしまいました。
正直不倫関係になってない時期に奥さんが妊娠してたのですが、今思い返せば家に帰るのは仕事がなくても遅く、里帰り時期が長く、8ヶ月も妊娠してることを秘密にしてるのも珍しいななんて思ってしまいます。
いまはそこを除けば週一でお泊まりデートしてくれたり、旅行にも連れて行ってくれたり、毎日連絡くれたりと良い関係です。
離婚するとか結婚するとかは言われたことはないのですが、幸せなことを言葉でも行動でも示してくれるので不倫恋愛にしては恵まれてる方だと考えるようにしてます。

こんな関係上、この手のことはあまり深く考えず気にしないにしようと今まで考えないようにはしてきましたが、母の話はたくさんするのになんで奥さん、子どもの話はしない矛盾にモヤモヤしてしまってます。
このような関係だから他の人に相談もできないし何が普通なのかもよくわからないのでアドバイスいただければと思います。

 - 不倫