入社１年目のＯＬです。

本気で辞めたくないのであれば、戦うしかありません。
会社の規模が大きければ、組合を通じてという手段もありますが
組合がないと・・・。人事課と相談するにも、その上司の立場が
どの程度のものかで変わってきますし・・・。
しかし、このまま弱味を見せていれば、合意と勝手に解釈する
バカが図に乗ってくる可能性も高いです。
同僚は男性ばかりとか、気が弱いとか言っている場合ではありません。
本当に辞めたくないのであれば、張り倒すぐらいの気持ちで戦ってください。
必ず、あなたの味方になってくれる同僚がいるはずですから。