Ещё в биографии Гарри был эпизод, когда близняшки Уизли в доме Дурслей "нечаянно" уронили конфету с интересным эффектом - язык от неё распухал до огромных размеров. Дадли в то лето сидел на диете, и конфету ту подобрал и съел; Артур с сыновьями видели последствия, но ни один пальцем не пошевелил расколдовать, взяли Гарри и свалили в Нору.
Формально Дадли сам виноват - про опасность магии он знал, и конфетой этой его напрямую не угощали, сам по своей инициативе поднял упавшее и сожрал, но всё же...

Пожалуй, этот эпизод и наложился в памяти Гарри, дав ложное представление, что Дадли потянулся к торту.
И Лестрейнджу об этом, пожалуй, лучше не рассказывать - и так он к Артуру не очень)