兄「○日の予定どう？」私「他の予定入りそうだし難しいかも」兄「お前の都合知らずに聞いただけだ！ぐちゃぐちゃ言いやがって」←兄との会話が噛み合わないんだがどうしたらいい？

兄「○日の予定どう？」
私「他の予定入りそうだし、仕事も入るかもしれないので難しいかも」
兄「お前の都合知らずに聞いただけだ！ぐちゃぐちゃ言いやがって」（いつもココでキレる）
私「は？理由を話してるだけだし、誘いは嬉しいけど、
　断るなら早めに理由を知ったほうが安心するじゃん？」
兄「だから知らないで誘ったって言ってるだろ！理由とかいらん！！」
私「いや、こちらの都合を今知らせて…」
兄「だからー知らないで誘ったから！！そんなの知らなかったから！！」

いつもこの手の話では「知らなかった」を強調するので、
誘って断られた＝悪いことをした＝知らなかった俺は悪くないって思考？
じゃあ理由無しに一方的に断るとそれはそれで怒るし、
兄が私の事情を知らなかったのは当然なので兄は悪くないと伝えても
「知らなかった」しか言いません。意味不明です。