【モヤッ】友人AがAの友人Bを連れて泊まりに来て風呂も勝手に使われた。でも来てもいい？を断りにくい

俺の友達Aはﾊﾟﾁﾝｺ大好き。
俺は一人暮らしでそのAの行きつけのﾊﾟﾁﾝｺに近い。
この前、Aの友達B（俺からみたら全くの他人）と家に泊まりにいくから、絶対Bには静かにさせとくから。
と言って俺の家にきた。
なかなかAとBが寝ないので俺が先に寝てしまった、それで起きたら、
Aが「あ、すごく暑いからシャワー貸してもらった。タオルも、ﾊﾊ♪」
また今度来ていい？と言われても絶対来ないでくれと言いにくい・・・。
それでも言うべきなのかな・・・。