フリン相手から飛び出したトンデモ発言に絶句。「息子との絆を返せ」とか言い出したんだけど？

相談です。
彼が既婚者と知りながら３年前から付き合ってます。
私と付き合う前から夫婦仲は良くなかったみたいですが、息子さんとは買い物行ったりしてたみたいです。
彼と喧嘩をして、別れ話になった時に、息子との時間を返せと言われました。
息子さんは10代で多感な時期に父親と話す機会もなくなってしまい(今は別居しています。私が頼んだわけではないですが･･･)私は本当に申し訳ないと思っています。
どうしたら息子さんとの時間を返すことができますか？