【困惑】会社でシングルマザーの派遣「俺さん、今度、食事に連れて行って下さい！」俺「え？！」と言ったら・・・

職場のシングルマザーの派遣に「今度、食事連れてって下さい」って言われた。
ただの仕事仲間としてなら行くけど「連れてって下さい」って言い方からして狙われてるのか？と思ったからそのまま流してた。
そしたらまた最近「食事いつ連れてってくれますか？」って言われたから「他に誰来るの？」って聞いたら「2人がいい」と言われたので「2人は無理かな、他の人に誤解されるかもしれないし｣と言って断った。
そしたら女子社員(こっちもシングルマザー)に「酷い！シングルマザーには恋する権利すら与えられないのか」みたいな事を言われた。

俺には断る権利も与えられないのか。俺だって付き合うならバツイチ子持ちじゃない方がいい。
その人の事が好きなら頑張るけど、好きでもないのにわざわざバツイチ子持ちと恋愛始めてみようかな～なんて思わない。シングルマザーを恋愛対象から外すのってそんな酷い事か？
それなら好きでもない普通の独身女性と2人で食事行きたいわ。
シングルマザーが恋愛するのも再婚するのも好きにしたらいいと思うけど、それを断ったら「シングルマザーだからって酷い！」って何？
マジ神経分からん。