【離婚】夫と姑の関係悪化と軽度の発達障害がある子のへの理解のなさに離婚も考えてる

旦那と離婚したいと思うようになった。 
奨学金の返済を姑にしてもらって、ゆっくり返してくれればいいから、と言われてたけど、 
最近になってもっと早く返して、と言うようになった。 
借りたときと比べて、姑、夫との関係も悪化してる。 
夫は私が働くようになって、夜の相手をする回数が減ったことに不満を持ってる。 
この状態で私が正社員にでもなったら、夫婦関係破綻するんじゃないかってくらい。 
ただ、姑に催促されるのも嫌なので、もっと働きたいと思ってる。