【同居】今住んでるアパートが手狭で引越したいが、それを言うと義兄夫婦が転勤で空いた2世帯への転居を勧められる

親子３人で２ＤＫ賃貸アパートに住んでるけど、子も大きくなるし荷物も 
増えるしさすがに窮屈になってきた。しかも来年にはもう一人増える。 
義実家は２世帯住宅のようになっていて、義兄夫婦が住んでたんだけど 
転勤で引っ越してしまって現在空いている状態。 
当然義父母は私達に勧めてくる。客観的に考えればありがたい話なんだろうけど 
どうしても気が進まない。旦那は私が嫌がってるのを分かってて無理強いはしないけど、 
「今の部屋が狭い」「広い所へ引っ越したい」という話をすると「じゃあうちに住めば 
いいじゃん」となるので何も言えない。