単身赴任あれこれ

私４４歳、パート主婦です。
子供は高校生と大学生の二人。
主人４７歳なんですが、この１０月から九州へ転勤を命じられています。
そのことは８月末ごろから知らされていたのですが、主人は一緒に来ないかと言うんです。
２年くらいでまたここへ帰ってこられるというのですが、躊躇しています。
正直言って、いまパート先の子と関係を持っていて１年が過ぎようとしています。
年齢は３５歳、バツイチで週に１度程度彼のマンションへ行って抱かれています。
特に主人がどうこうと言う事はありませんし、将来離婚をして彼ととも思っていません。
だけど今を大切にしたいのですが、私のわがままなんでしょうか。
こんなこと結婚をして初めてなんですが、もうどうにもならなくて。
だから、今は九州には行きたくなくて悩んでいます。
子供のこともあるからと、主人には単身赴任をお願いしているのですが、主人は来てほしいというんです。
経験ある方ならどうしているか聞きたいのですが。