男性の考え教えてください

私は30半ばの主婦です。
家族ぐるみで仲良くしてるご主人とＷで1年ちょっとです。
男性の考えが知りたくてたまにこちらにきてたんですが、質問させて下さ
い。
　自宅へはよく子連れで遊びに来てくれますが二人で会いたいって彼に言わ
れた事ないです。
私が「いつなら出れそう」というとそれに合わせてくれます。
今のところまだ彼に断られた事もなくいつも頑張って合わせてくれます
が・・。
女として少し寂しい気がします。たまには彼から会いたいって言われたいけ
ど、どうして言ってもらえないんですかね・・。
彼にメールしたり電話いれたりすれば必ずとってくれるし、とれなくても後
からきちんと折り返しかけてくれるマメさはあります。
その時の内容も楽しい返事や優しさが伝わる声です。
お互いの配偶者や子供を知ってるだけに遠慮や罪悪感があるんでしょうか？
もしばれた時のこと考えて自分からは誘わないんでしょうか？
私にがっついてるって思われたくないんでしょうか？
男性のみなさんはどうですか？近しい人との不倫の距離感ってどんな感じで
すか？
補足ですが半年ほど前私が罪悪感に潰されそうになって1度考えたいみたいな
事を言ってしまいました。結局は彼が何度か電話をくれてまた自然に会って
しまったんですが・・。
その時の事も関係してますかね・・。
マジ質問です。ごめんなさい！！