【義父】認知症を発症し施設にいる義父の見舞いに来たいと言う義父の元部下達。私はかっこよかった頃の義父のみを覚えててほしいので面会を断り続けてる

義父が認知症を突然発症して諸事情からどうにもならなくなって
有料ホームに入ってもう5年ぐらいになる。
その義父に昔よくしてもらったという元部下の人が
「会いたい」「一度でいいから会わせてほしい」としつこく連絡してきて
その都度断っていた。
企業戦士だった頃のダンディで矍鑠とした義父の姿のまま覚えていてほしい、
今の義父はお会いしても分からないぐらいに認知症が進み、申し訳ない、
そういう姿を見せたくないからと断っても断っても電話してくる。
その元部下が純粋に「お世話になった人に生きているうちに会いたい」
と言う気持ちで言って下さってることは理解してるつもり。
だけどこちらの気持ちを何故汲んでもらえないのかとイライラする。