とてももどかしいですね。とは言っても、決してあなたが特別ではありませんよ。誰しもが抱いている気持ちだと思います。
自分は年配の男ですが、ここでは数名の女性と経験しています。
それも100様です。
日常に不満は無くとも非日常の世界に気持ちが動く、年を重ねる度に人生を振り返りこれで良かったのか？この先、何も変わらない環境で女として終焉を迎えて良いのだろうか？
色々と考えてしまうみたいですね。理性が勝るのか、好奇心に負けて行動に出るのか。
答えはあなた自身が解っているのではないでしょうか？
自分が関係を持った奥様達は、自分の気持ちをしっかりと持っていました。家庭や日常の環境を変える事無く、割り切った気持ちで楽しんでいました。こちらも深入りせず日常の部分にも干渉しないといった感じです。
１度きりの人生、たまには自分の気持ちに正直になってみるのも有りかと思いますよ。

マジレスしますと、ご自身でもお気付きかと思いますが辞めておいた方が良いと思います。
一度だけと思いながらも、会うときは身も心も思いやり楽しく過ごしたいという願望が叶ってしまったら必ずもう一度会いたくなるでしょう。
同じ人とは二度と会わなくても、もっといい人と会えるかもと探し続けてしまうかもしれません。
人間の快楽欲求は尽きないものです。
どうしてもというのなら、女性用風俗でひと時の快楽を味わってみてはいかがでしょうか。
お金で快楽を買うわけですので、旦那さんへの後ろめたさもいくらか少ないですし、後腐れもありませんから。
一番良いのは、レスではないとのことなので旦那さんと一緒に新しい試みをしてみることだと思います。
玩具やコス、オイルやローションといった小道具を使う手もありますし、目隠しや拘束、マッサージやアナルなど手法を変える手もあります。
貸切露天風呂とかグランピングのように場所を変えるのもいいですね。
レスではないということは旦那さんにもまだ性欲があるということなので、2人で愉しめることを一緒に見つけるのも楽しいと思いますよ。