実家を相続したので家を建て替えようと考えてたら、近所の人に「2階建てにはしないでね。うちにも日照権がありますから」と言われた。これ守らないといけないの？

一人暮らししてた父が亡くなって、実家を相続した。
今は県外住みなんだが、再来年には地元に戻る予定なので
実家を建て直して住もうかと夫婦で考えている。
実家は90坪の土地の北側半分に平屋の３LDK。
父が丁寧に手入れしていた庭の一部を残して
駐車スペースを広めに取りたいので（現在は１台分しかない）
家族４人で住みたいとなると２階建てで考えている。