Когда читаешь книги с точки зрения Гарри - да, кажется, что злые опекуны над ним издеваются.
Когда смотришь на события глазами взрослых, которые вынуждены были растить ребёнка из непонятного мира и с непонятными способностями, то они ещё вполне адекватными оказываются.
Детство Гарри глазами Петуньи - обычной женщины, столкнувшейся с обстоятельствами, с которыми она априори не могла справиться (ну что может магла против стихийной магии); и всё же пыталась как могла.