私「可愛いから女の子の服着せちゃおう」周囲「それ大丈夫？」→長男に女の子の格好をさせていたら思わぬ反応が…

４歳になる長男がいるのですが、顔つきが女の子みたいで
とても愛らしく、生まれてからずっと女の子の格好をさせて育てています。
ところが、主人が将来に影響するのでやめるように真剣に言うのです。
買い物に連れて行っても、誰もが「可愛いお嬢さん。」って声をかけてくださるので、
私もちょっとうれしくて、つい調子に乗りすぎてしまい今は少し反省してます。
ただ、洋服も女の子のものしか今のところなくて、長女のお古を着させたりしています。
すぐに男の子の洋服を準備するのはちょっときついので・・・。
６歳くらいまでなら大丈夫でしょうか？