【衝撃的】ガラガラの電車で端の席に座ったいたら、ベビーカーが乗ってきた→すると！知らないおっさん「おい」→顎で『どけよ』と合図されたのだが、その後…

今日電車の中であったこと
どうしたらよかったのかわからずもやもやしたので書きます。
いつも乗っている電車でなのですが1駅ですぐ降りるのでいつもなら立っているのですが今日は立ってる人の方が多く逆に邪魔になってしまうかと思い空いていた1番端の席に座りました。
その直後に赤ちゃんを抱きながらベビーカーを押した方が電車に乗ってきたのですが席はまだ全然空いていたので特に気にせずいました。
そしたらその方の近くにいたおじさんが突然私に「おい」と一言言って顎でどけよと合図されました。ベビーカーの方は大丈夫ですよと言ってくれたのですがこれでどかないのもなんだかなあと思いとりあえずどきました。
結局、席はベビーカーの方が座るわけでもなく空いたままになってしまい、私はおじさんのいいかっこしいに付き合わされる為だけにあんな態度をとられたのかともやもやしたまま帰宅したのですが、私はどうすればよかったのでしょうか。
どなたかアドバイスをください。