40代の独身男なんだが上司が20代半ばの子との間をさりげなく取り持とうとしてくる

40代の独身男なんだが、
上司が20代半ばの子との間をさりげなく取り持とうとしてくるのに困っている。
たしかに雑談でその子は可愛いしいい子だから
目の保養として浮かれたのは事実だし雑談でもそんなこと言ったけど
そう思ってるのもそんな話したのも
俺だけじゃなくて部の独身男性複数人いたじゃないか…。