夫が飲み屋の女の子にハマり月に20万～40万位貢いでいる。家にいても殆ど会話が無くて辛い

【自分の年齢・性別】25
【相手の年齢】29
【結婚年数】7年
【子供の有無】2人
【相談内容】飲み屋の女の子にハマり月に20万～40万位貢いでいて、頻繁会い殆ど朝帰りです。夜の店通いもしているし、休みの日はゴルフやデートで殆ど顔を会わさせない生活をしていて、家にいても殆ど会話がありません。
子供欲しがっていた割には子供と遊んでくれる事もないし愛が感じらません。
その反面仕事熱心で、子供の行事には参加してくれるし世間体的にはいいお父さんだと思います。
若いうちに離婚したいのですが、我慢が足りないのでしょうか？