【モヤッ】昨日上司と取引先の人と昼食を取ったがその際「好き嫌い多いくせに」とドヤ顔で言われた

昨日上司と取引先の人と昼食を取ることになり、したっぱの自分が決めていいと言われた。 
なんでも大丈夫です、お二方の好きなものをと言ったら「嘘つけ、お前好き嫌い多いくせに」と上司にどや顔で言われた。 
自分は好き嫌いはないのだが、脂の代謝が苦手で脂を大量に取ったら下すくらいで、上司に○○が嫌いとか○○食えないとか言ったことないのに。 

なんでその場で否定しなかったんだろ。 
モヤモヤする。 
ってかもう4年も一緒にいるんだからわかるだろ上司よ…