Канон, но наказание. Из-за Добби, который, гад ушастый, взрослым Дурсли не показывался, но напакостил так, что легко обвинить в этом Гарри. Они и поняли. Не избили, не поломали руки-ноги - просто заперли в комнате и малость огранилили в еде. И потом больше так не делали, кстати. Тем более, Добби всеми силами старался не пустить Гарри в школу. Насколько мы видим из канона, когда Вернон попытался вышвырнуть Гарри из дома. Петунии сразу пришло письмо.
И да, ребенок сыт, одет, ходит в школу и работает по дому. Что еще нужно для и маленького отсталого магического общества? Плюс жесткое английское воспитание- это Дадли балуют до безобразия.