【相談】娘を「ダウン症じゃない？」と言う夫に抗議すると軽い謝罪と「どっちにしろ大事な娘。差別主義な君と一緒にするな」と言われた

相談させてください。 
３歳の息子と７ヶ月の娘がいるのですが、夫が娘の動きを見て 
「この子ダウン症なんじゃないの？」 
と突然言いました。 
赤ちゃん特有の不安定な動きが気になったそうなのですが、 
私としては許し難い発言で、何度か軽く謝罪はあったものの 
心から許すことができません。 
それを夫に言うと、 
「単純にそう感じたから言っただけ。別にダウン症でも可愛い大切な娘。 
差別主義の貴女と一緒にしないで頂きたい。」 
と私を非難してきます。 
許せないと思う私の心が狭いのでしょうか？ 
もちろん定期検診でも全く問題なく、至って普通の成長をしています。