職場のおじさんからの告白を断ったら「気を持たせたお前が悪い」と周りから責められた

職場の男性から告白されたのですが断ったところ、気を持たせたお前が悪い、
と本人からも周りの人からも責められています。
その男性は私より年上ですが入職したのは私より後で、立場としては同じヒラ同士です。
体を使う仕事で、その男性と二人で作業する機会も今まで多々ありました。
ですが私達は固定のペアというわけではありませんし、
二人でする作業が毎日当たるわけでもありません。