奥さんに扶養能力が無いのなら親権は勝ち取れますが、母方に親権を取られても子供達と一緒に暮らす事は可能ですよ。
親権と監護権は別個ですし、親権はあくまでも法定代理人としての行為ですから。
基本的に未成年者の代わりに法律行為ができないと認められれば、奥さんが親権を勝ち取るのは難しいでしょう。

それと、今回は奥さんの不倫行為を確認しましたか？
実際の所は、メールや会ったぐらいじゃ貞操義務違反にはなりませんし、相手が結婚している事を知らなかったり、婚姻関係が破綻していると信じている場合は慰謝料は取れません。

私の場合、離婚し親権を取り四才の息子と二人で現在楽しく暮しています。
妻が怪しいと感じてからは、まず始めにした事は、妻の車にGPSロガーをとりつけ行動を把握し、その後ｉphoneを買い与えどこにいるのか分かるようにし（妻が機械オンチで何も分かってない）、盗聴器を業者にたのんで仕掛け証拠を集め、ある日証拠を持って裁判すると妻を脅しました、裁判相手は浮気相手の男に対してです、お金が一番取れるからです。
結果、裁判は嫌だからと離婚届けにサインをもらい親権も確保できました。
証拠集めに一年近くかかりましたが、頑張ってみてください。

ありがちなﾊﾟﾀｰﾝですよね。ただ、【親権】について争うのは時間がかかるかも。自分は、その時点では争う事はしませんでした。 【親権】が欲しいのか、子供と暮らしたいのか？ たとえば、親権がなくても子供と暮らせるし。何の影響もないです。 家裁の人が言うには、『相手といつでも連絡がとれるなら、ｲﾁｲﾁ親権を移す必要はありません!!』 本当ですよ。子供を引き取り同居。学校も日常生活も、問題なし。大切なのは、【親権】よりも子供と子供の気持ちです。自信がなくなってたり、冷静でない時には、すぐに権利を主張します。でも冷静に考えてください。日常生活や学校生活で、【親権】は関係ありますか？ 子供と同居してるか？扶養してるかだけでは？ 今は、冷静になってくださいね。離婚する時には、大きなｴﾈﾙｷﾞｰです。 余計なｴﾈﾙｷﾞｰは使わないように いつでもﾒｰﾙくださぃ。 民事で何度も家裁に行った経験あります。