姑に旅行に誘われた。義両親＋小姑＋私で2泊3日。親子の中に他人が混じるのキツいんだけどコレ労働要員？

車いすの舅さんの希望らしいのだが
義両親、小姑、嫁子で行きたいのだそうだ。
「週明けに私の仕事の予定を調べてからお返事します」って言ったものの正直あまり行きたくない。
義実家との関係は良好で小姑とも仲は悪くないけど、親子３人の中に他人の私が混じって二泊三日はきつい。
嫁子じゃなくて旦那くんを誘えばいいのに。

波風立てずに断るにはなんて言えばいいのか悩んでます。