【修羅場】外出中の旦那に電話した私『帰りにケーキを買ってきて』旦那『了解！買って帰るよ』→数時間後、修羅場状態に！

日曜日のお昼、出掛けてる主人に、帰りにケーキ買って来て、と頼む
→携帯を自宅に忘れて行き、買って来ず。

月曜日、どうしてもケーキが食べたかったから自分で買って来て
子ども達と15時頃食べる→19時頃帰宅した主人の手にはケーキが。。。
子どももさっき食べたから喜ばず、その態度に主人は激昂したんだけど
タイミングが悪かったとしか思えない私。
この場合、私が主人に「ケーキは食べたから買って来なくていいよ」と
連絡すべきだったのでしょうか？
この話をすると、身内から私が責められて（実母とか。ワガママだわ、って言われた）
ちょっと納得が行かないのですが。