В магическом мире местами действует, судя по всему, феодальное и даже родоплеменное право.

То есть надо забрать Гарри на обучение - заберут, соблюдая некоторые внешние формальности, типа письма.

Формально подходя, Гарри должен был пойти в ближайшую школу, отучиться там положенное время и пойти работать (навряд ли Дурсли собирались оплачивать ему высшее образование). Интересная получилась бы книжка, наверное.