【苦悩】残業が月50h位あり有休も取りづらい職場に勤めてる私→旦那「今週末は義実家に行くぞ！」私「今回は１人で帰ってくれない？」とお願いしたら・・・

家事の話の途中ですいません
私は結婚3年目28歳、フルタイム共働き子供なしです
残業が月50h位あり有休も取りづらい職場なので土日はなるべく休みたいと思っています
一昨日、旦那に今週末は義実家に行くぞと言われ今回は1人で帰ってくれないかとお願いしたら、「いいけど…来月は行くんだよね？」と旦那の機嫌がすごく悪いです
義実家まで車で3時間半、旦那の言い分は「俺が運転でお前乗ってるだけじゃん」です
義母は10年前から何度目かの抗がん剤治療中で、家事とパートをこなされてるんですが、今回初めてがんが内臓にできてしまって、旦那は毎週でも毎月でも親に会いたいのかもしれないです
ただ義実家に行って何かできることがあるわけでもなく、孫の顔を見せて喜んでもらえるわけでもなく…
今までずっと、GWお盆シルバーウィーク正月は必ず(+3連休もたまに)、２人で双方の家に顔を出しているから、それ以上は旦那だけで帰ってほしいと思っているんだけど、全く納得されない
私は本当に体力がないのか仕事疲れなのか、過去に何回か、義実家行ったはいいものの熱だして寝込んで迷惑かけたことがあります
義実家はすごく静かで、私から話しかけないと一同無言が多く、会話も全く続かないから、ただただ座って時間が過ぎるのを待つだけですごく気まずくて…その間旦那は運転疲れで寝たり、ゴロゴロしている感じです
旦那怒ってるんですけど、私がワガママでしょうか…？