А потом, все последующие годы? Видели же как Гарри не хочет возвращаться к Дурслям и все равно его туда отправляли каждое лето. Причем опять же одного, никто из взрослых магов не додумался поехать с ним и предупредить Дурслей о недопустимости такого обращения.