【どっちが正しい？】副業の収入を自分の小遣いの足しにすると夫に言ったら、それって俺が休日出勤とか残業代を渡さないのと同義じゃんと言われた…

旦那30歳の年収が500ぐらいで、自分25歳の年収が常勤で530くらい。
貯蓄が趣味で副業をやり始めて、自分の年収が600万になる。休日潰しての仕事だし、自分の小遣いの足しにすると夫に言ったらそれって俺が休日出勤とか残業代を渡さないのと同義じゃんと言われ…
共同財産になるってのはわかるけど、
職場で止むを得ず発生したものじゃないからそれとは違うのではーと思いつつ、揉めるぐらいならいっそ辞めた方がいいのかなーと思い始めてる。