職場での飲みの誘いを断りまくっていたら、家に寄生虫(専業嫁)がいるからだろ！と指摘された。ノリ悪いって言われる俺は社会人として非常識なのだろうか？

嫁さん専業で正社員経験無し
元々縛り付けるタイプの嫁さんじゃないから飲み会とかも何も言わずに行かせてくれてた
ただ俺が26で手取り16万～17万しかない
嫁は一切贅沢せずにたまに親戚の仕事手伝って自分の小遣い分と食費分は稼いでるから、嫁のやり繰りもあって質素ながらうまく暮らせていた
それでも飲み会に頻繁に参加する余裕はない