Видите ли, это мы знаем, что Волди сидел в доме своего папаши. А Гарри этого не знает! Всё, что он знает, что Волди где-то тусуется вместе с крысой и змеёй, и убивает там старика. При этом, вид от лица Волди. Т.е. он даже снаружи этот дом не видел и не сможет его узнать. По канону он вообще не узнал, где Волди провёл лето :)