Гарри формально должен получить именно письмо. Его сознательно лишили информации, фактически изолировав.
Я думаю, что некие волшебники, которые пожимали мальчику руку, были ОФовцами. И это была демонстрация для Дурслей. Этакое "Большой Брат смотрит на тебя!"