近親相姦　願望・苦悩

２年前に主人が亡くなり６歳と４歳の子供と私と主人の父との４人暮らしです。
主人がいないのにここの家にいてもいいのかと思っています。
６４歳の義父はまだ元気で仕事に行っていますが、たまに私を嫁ではなく女として見ているようなんです。
３か月ほど前には私がお風呂に入っているとドアーを開けられてしまいました。
「ごめん、子供が入っていると思って、、」と言ってすぐに閉めてくれたのですが、結婚して使ったことのないカギを掛けるようになりました。
家を出て行くにしても家を借りる費用、引っ越し費用などがいるし、子供たちだって今までいたお爺さんがいなくなると寂しがります。
生活費も義父の援助してもらっていますし、その他生活面でもどうしていいか分からなくなってきます。
結婚して以来専業主婦だった私に働き口があるかどうかも心配です。
私のような境遇の方、義父とどのようにして暮らしているかアドバイスがあればお願いします。