С одной стороны - толковое замечание.
С другой - всё ещё лютое АУ относительно 3,5,6 книг. Почему?
Потому что заклинание доверия.
Позже, (не в первой книге) нам расскажут, что дом поттеров был под заклинанием доверия, хранителем которой был Петтигрю. Петтигрю жив, рассказал про адрес дома ТЛ, но заклинание-то от этого не перестаёт работать. Технически, ни соседи, ни Хагрид дома вообще ощущать не могли бы.

Остаётся, конечно, шанс на то, что Волдеморт каким-то образом уничтожил заклинание доверия... но почему нам потом ни разу об этом не сказали?