【常識？非常識？】元旦那の兄の家によく行くとAに話したら「家に行くのはまずくないですか？」と言われたので「子供がいない人はわからないよね」と言ってしまった

相談させてください。
パートがクビになりそうです。
原因はパート先の学生A。私は10代の頃に出産し現在の年齢が大学生と同じ年なので、休憩時間などは大学生と会話をすることが多いです。
私はバツイチで現在5歳の子供がいるのですが、元旦那のお兄さん(義兄)の家によく行きます。義兄も結婚をしており同じ年頃の子供がいるので子供同士を会わせる為です。