夫婦の悩み相談

私は30歳、バツｲﾁ、子供が一人、元旦那さんが引き取ってます。彼は３３歳、子供が一人、嫁の浮気が原因で不仲。現在は私と暮らしています。家には子供に会いに月一帰る程度。付き合って四年。
出会った時、嫁の浮気の事を必死に訴え、私とは人生のパートナーとして上手くやって行きたいと言ってました。私もこの人ならと思い、一緒にやってきました。付き合って半年頃から以前の彼女とのやり取りが目につく様になり、それからセフレなどとの浮気の連続。私は精神的にもくたびれてしまい、今年一月に仕事を辞めました。彼はそんな私を見て悪かったと今は真正面にしていますが、ずっと私といるせいか時折ｲﾗｲﾗ気味。 自分でどうしたら良いか分からず悩んでいます。どなたかアドバイスを下さい。