職場の男性と何気ない会話をしていただけなのに、私の言葉が地雷を踏んだようで雰囲気が最悪に…

先日仕事場で雑談中、同僚（男性）に失礼なことを言ってしまい
（もちろん、こちらは馬鹿にしたり悪ロを言っているつもりは全くなく、良い意味で使った言葉でした）
翌日その同僚から物凄い剣幕で怒られました。

お前さぁ、馬鹿じゃないの？
お前、失礼だよ。
ふざけんなよ。など。
物凄く睨まれ、凄く怖かったです。