【相談】仲が良かったが周りから浮いて転校してった子とSNSで再会したが言葉や話題選びに疲れてしまった。もう身を引くべき？

周りから浮いてしまい転校していった人との交流。在学中、自分は彼と仲良くしていて、 
転校と同時に音信不通になったが、Facebookとmixiで再会。何度か彼の家に招いて 
いただいたが、相手に不必要に気を遣わせてしまったり、自分も言葉選び、話題選びに 
ヘトヘトに疲れた。 

自分の好きな事を言動すると、蔑んだように「そんな事が好きなの」と反応された。 

自分のコミュニケーション能力、相手の嗜好を勘案できない自分に苛立ちと相手への申し訳なさを 
感じるが、自分はもう身を引くべきなのでしょうか？相手の家に招いていただいたおもてなしと 
気遣いを考えると思い切れないんです。