彼が会うと毎回「何かしたいことある？」ときいてきてイラつく。そっちがなんか企画しろよ

付き合って５年、車で3時間くらいの距離に住んでいます 
彼が平日も土日も仕事で、
会うのは早めに仕事が終わる日の夕方(16時～23時くらいまで)のみです 
毎週会うと、何かしたいことある？と聞かれますが、
こんな時間からどこかに遊びになんて行けるわけないし、とイライラします