義母がいつも子どもを抱っこしていて辛い。もっと家族で触れ合っていたいのに

今年の4月末に妻の父親が会社の経営に行き詰まり自殺しました。
それからは妻の母親と妻の精神状態が心配ということで
昼間は私の家で妻と義母が子育てしながら過ごし、
夜寝るときだけ義両親のセカンドハウスで妻と義母だけ寝に行き
私が育児のバトンタッチを行うという生活に変わりました。
簡単にいうとマンションでの二世帯住宅生活のようなものです。