【え？】出掛け際に、着替えた夫からこの服装どう思う？と聞かれた。正直組み合わせ的に微妙だったので「それはちょっと…」と答えたところ…。

先日の出掛け際に、着替えた夫からこの服装どう思う？と聞かれました。
（夫はお洒落等が苦手と言っているタイプ、普段から服を私が選ぶこともあります）
正直組み合わせ的に微妙だったので、
「それはちょっと…」と答えたところ、
夫「上が？下が？」
自分「どっちも…」
夫が不機嫌になり、その後のやりとりで怒り始め…（ここは誤解だったので割愛）
その後も、かなりイライラした様子で出かける予定の時間を過ぎても動かないまま。

私もなんですぐ怒るの？と怒ってしまい、喧嘩になったのですが、
夫からは誤解だった部分を差し引いて、そもそも傷つくような上記発言をした私が鈍感と言われています。

大体このように、夫が傷ついた！と非常に不機嫌になり、私がそんなことで怒る？！と感情的になってしまうパターンで、
喧嘩が終わると「どっちにも悪いとこはある両成敗」とよく言われるのですが、
私はそこまで傷つくこと？と思ってしまい気持ちの整理がつきません。

幼稚な内容でお恥ずかしいですが、
今後の自分の行動を改めるためにも、
客観的にどう思われるか教えてもらいたいです。