【離婚】義兄夫婦の死後、残された子供を義両親が育てていたが義姉夫婦の生命保険を使い込んでしまい金銭的に厳しいらしく「子供たちを(私達夫婦)で引き取ってくれ」と言い出した

ここで相談してもいい？
事情だけ書くけど、私は婿取りで子梨。
結婚後病気をして仕事を辞めて自宅療養中。
遠方に自営の義実家があり、義姉が婿取りをして義兄が仕事を継いでいた。
ある事で義姉夫婦が最近亡くなった。子供は二人。
義両親が育てていたけど、このままでは進学もままならないからと引き取りしてくと言って来た。子供がいないからいいだろうと。
今住んでいる家は、私の実家が婿に来てくれるからと建ててくれた家なので、引き取りたくないのが本心。
義姉夫婦が亡くなって理由で義実家も経済的に苦しいからと仕送りしているだけで許して欲しいのですが、あまりにもひどいですか？