嫁「子供は隣町の小学校に入れる」俺「ローン30年残ってるぞ？」→返ってきた一言に家庭の空気が一変して…

来年子供が小学校なんだけど、どこの小学校に行かせるかで今揉めているんだ。
俺は今住んでいる地域の学校に行かせたいんだけど、嫁の言い分では
その学校は人数が少なくて子供の環境によくない、隣町の小学校なら人数多くで友達たくさん(保育園はその隣町に通ってる)
でも今住んでる家のローン３０年残ってて引っ越すなんてできるわけもないし
こんな理由で離婚なんておかしいかな？