Дамблдор растерялся и не смог найти Гарри.
Никто не смог его найти и отобрать Гарри, чтобы отправить к тетке.
Маги дружно признали свое бессилие "а, ну раз Хагрид доставил не к Дурслям, то ок, мы ничего не можем сделать".