夫がナイーブで繊細で些細な事で傷つく。気を遣うのがストレスで離婚したい

私34、夫38、結婚五年目、同じ職場。
夫はとても優しいがナイーブで繊細、身体が弱い。
私は自律神経失調症で急に怒りが爆発しコントロール出来ず、そのせいで職を転々としてきた、結婚後にアトピーを発症、強度近眼で年々視力が下がっていく。
夫は優しいけど些細な事で傷付くので私はとても気を遣い、そのせいかアトピーが悪化したりイライラが酷くなり暫く会社を休職していた。
復職したが精神が不安定で辛い。
離婚しようか迷っている。