Да, я тоже не увидела за Дурслями в отношении к Гарри чего-то ужасного.
Да, Вернон его не любил и считал обузой. Так он ему вообще-то кто?
Да, Петунья завидовала магическим способностям и проводила параллель с сестрой - ну так у каждого свои незакрытые гештальты. Так что пусть Петунья была тут не права, но по сути - вполне понятна.
Дадли - вот тот единственный, кто физически применял силу к Гарри.
Но так мальчишки-ровесники. Дерутся и дерутся. Никто в этом ничего такого не видел.

А еще вот в том, что Дурсли поклялись сделать племянника нормальным, я вижу заботу и любовь.
Магия сделала Петунью несчастной. Стала причиной ссоры с сестрой, возникновения кучи комплексов, а позже и смерти сестры.
Петунья говорит, что когда брала его, поклялась себе, что сделает его нормальным и вытравит из него всю дурь.
То есть, если переводить на человеческий - сделает так, чтобы Гарри был защищен от таких разочарований, а, самое главное, выжил.