離婚も浮気を疑うのもいつでもできるので、まずはストレートに
奥様と話してみてはいかがでしょうか。

ご夫婦の間で希望するセックスの頻度が合わないなら、歩み寄って
中間の回数にしたり、タイミングをあらかじめ決めておくなど
できるといいですね。そこがどうしても折り合わなければ、いよ
いよ今後の結婚生活について熟考することになるかもしれません
が・・・

ついでながら、そういう話し合いをしたときの奥様の反応が
不自然で（かつ実際に不倫をする機会がある生活で）あるなら、
不倫を疑う必要も出てくるかもしれません。

なにかのご参考にと思いましたが、差し出がましいアドバイス
でしたら申し訳ありません。

なんにせよお二人が楽しい性生活を送れるようになられることを
お祈りしています。