正社員のなか一人パートで働いてるんだけど私だけ休みすぎてずるいと言われてしまった

医療系で正社員のなか一人パートで働いてるんだけど、
慢性的な人手不足で、私だけ休みすぎてずるいと不満があると上司に言われてしまった
子供の用事で月に何度か平日休むなら、土日も入れと言われてる
旦那が休みなら働きにこれるでしょ？と思われてるらしい
断るのもしんどいし病みそう
もしかして断る私が悪いの？と思ってくるし