【唖然】バツイチの私「前から元旦那のお兄さん(義兄)の家によく行くのよ～♪」学生A「え？離婚してるんですよね？え？え？」私「へ？どうしたの？」→結果

相談させてください。
パートがクビになりそうです。
原因はパート先の学生A。私は10代の頃に出産し現在の年齢が大学生と同じ年なので、休憩時間などは大学生と会話をすることが多いです。
私はバツイチで現在5歳の子供がいるのですが、元旦那のお兄さん(義兄)の家によく行きます。義兄も結婚をしており同じ年頃の子供がいるので子供同士を会わせる為です。
近々また義兄の家に行くことをAに伝えると「え？離婚してるんですよね？え？え？」とビックリされました。さらに「家に行くのはまずくないですか？」と言われ
「ただ子供達を会わせてるだけ」というと「じゃぁそのお義兄さんの嫁さんと子供で別の所で会えばいいんじゃないですか？私が元旦那さんの立場だと家に行かれるのは複雑ですけど…」と言われました。
私はその時イラついてしまい「子供がいない人はわからないよね」と言ってしまいました。
するとAは無言になってしまい、その日はギクシャクしたままパートを終えました。
数日後他のパートさんから無視されることが増えました。その中のお局ポジションの方がボソッと「別れた旦那のお兄さんの家に行くとかどうかしてるんじゃない？」と言われAがチクったんだとわかりました。
Aにどうしてパートに言うのかと聞くと「言われた通り子持ちの気持ちはわからないので他の子持ちの人に聞いてみただけ」と言われました。私は子供達が楽しそうにしてる動画をみせればわかってくれると思い、動画をみせたのですが皆「ふーん」という反応でした。
そして、とうとう店長に「私さんと一緒に入りたくないって苦情がきてる。悪いけどやめてほしい」と言われました。ここはパートに優しく時間も優遇されているので辞めたくありません。
どうすれば皆さんに理解していただけるでしょうか。