怒鳴られて泣くと周りには「あの子甘やかされて育ったんだなぁ」と思われてモヤモヤ

バイト先で男のお客さんに怒鳴られると泣いてしまいます。泣いてしまうというか反射で涙がでているようなもので、これは私が悪いし治さなきゃいけないなと思っています。
でもそれについて上司に半笑いで「怒鳴られ慣れてないんだ？親御さん優しかったんだね」と言われ、とてもモヤモヤしています。