【イライラ】私がどこそこ行かない？と誘うと、「俺、人混み苦手だよ」とだけ言ってくるところにイラッとする。

私がどこそこ行かない？と誘うと、「俺、人混み苦手だよ」とだけ言ってくるところ
だから何？行くか行かないか聞いてるんだけど。
文脈から行かないのは読み取れるけどそういう問題じゃなくて、ハッキリ言わず遠回しに察してみたいなのマジでイライラする。