Дурсли над Гарри не издевались, не били, не морили голодом. Да, не любили - но это не то, что как-то можно исправить. Да, боялись волшебства - но, насколько помню, единственный раз, когда Гарри волосы учительнице покрасил, и там его, если правильно помню, просто наругали.