精神障害と免許ナシが原因で女性にフラれた…やっぱり免許取るべきなのか？

私は３２歳年収５８０万円のサラリーマンです。結婚願望があり、結婚相談所に
登録しています。相手の女性の条件に合う方のみ、であいのセッティングを
申し込んでいます。
　しかし、お会いしてくださった女性の全員は失望感に満ちた表情をして、
断ってしまいます。趣味はスキー、アウトドア、国内旅行、賭け事しない・タバコ吸わない。

なのですが、精神障害者手帳３級かつ自動車運転免許をもっていないの
２点です。
　結婚相談所のアドバイザーに相談したところ、手帳持ちは仕方がないと、
　ただ、多くの女性が望むドライブができないことは男性として致命傷だ
　そうです。例外ももちろんありますが…