別れようと思ってはいても…

私は今不倫関係になって一年ちょっとの人がいます。子供の同級生の旦那です。しかも奥さんとは元々仲良しで個人的にもよく遊んだりする仲です。初めは何とも思ってはいなかったんですが、私が離婚して暫くしてから、保育園とかの行事で二人で一緒にいるのを見て仲良くて羨ましいなぁって感じだっただけで、それ以上は何も思ってなかったのに、一年半位前に夜いきなり電話が初めてかかりご飯でもになり、その時はまだ気持ちもそれほどでもなく、内容が相談事で聞いていたら、上手くいってない話とか奥さんと別れようと思ってる相談事を受けて、絶対に駄目だし子供の為にもきちんと話し合いすれば大丈夫とか自分の経験と後悔した事を話して納得させたんだけど、帰りの車の中でまだ帰りたくないと言われて、駐車場で暫くまた話して彼が私と同じ気持ちだった事を知ってしまい、私の隠れていた気持ちが止まらず、私の行事で会うたびに目で追ってしまっていた気持ちを告白してしまって、どうしようもなくなって、でもそれは駄目と思ってその時は帰ったのですが、後で彼からメールで、押さえられない気持ちを告白され、私の気持ちもストップがきかずに関係をもってしまい、たまに逢って気持ちを確かめあっています。奥さんとも今までと変わらないし顔みるのも正直辛いし、子供の事もあるしで今は悩んでいる状態です。やはり、早い内に別れてしまったほうがいいのでしょうか？彼と会ったときだけ、安らか気持ちでいられるのも事実で、悩んでいるんですが。