会社の後輩に

私は小さな会社に勤めている32才のものです。結婚もしてるし子供もいるんだけど二個下の後輩に身体を許してしまいました。内の会社ではたまに飲み会があるんだけど、そのたびにこっちが恥ずかしくなるような言葉でおだてられたり誘われたりしてましたが、相手も妻子がありうまくごまかし続けてました。
その子には普段から仕事を助けられていてお世話になってたんだけど、この前、私が失敗したのをうまく助けらるた事があって、その日の飲み会ではじめて、会を途中で抜けて二人で別の店に行きました。その後酔った私は彼に誘われるままホテルに行き、朝帰りとなりました。
旦那にも会社の他の社員にもいろいろと問い詰められましたが、二人で話をあわせてなんとかばれずにすみました。
その後は今のところ何もありません。でも不安はいっぱいです。
（この板にあってなかったかもしれません。文章も下手で申し訳ありますん。でも本当の悩みです）