僕の場合はどうにもやりたくて浮気しちゃいましたけど。
簡単に言うと子供が幼稚園に上がるくらいまでは難しいみたいですよ？
朝から晩まで子供にくっつかれ、目を離せない状態が続いてる内はなかなかそんな気分にならないそうです。（人にもよりますが）
余り誘っても逆に誘わなくても浮気を疑われたり、子育てに理解が無いと思われたりで余り良い事がありませんから、素直に相談して取りあえず気分が乗ったら一ヶ月に一度位は愛させて？とお願いしてみては？
意外と育児が楽になると豹変するかもしれませんよ？(笑)
慌てると良い事無いです。