Ну, если идти по пути "бывает и хуже", то в девятнадцатом веке дети 5-9 лет работали в угольных шахтах, часов по двенадцать, одни стояли, держали фонари и открывали дверцы, другие - волокли на себе тележки, пустые в одну сторону и с углём - обратно.
А ещё детская проституция, беспризорники, людоедство в голодные годы и годы войны особенно, а ещё была работорговля, в том числе и детьми, есть похищение ради выкупа, при котором дети нередко - по случайности, разумеется - погибают, есть чокнутые нянечки, которые ошпаривают трёхлеток кипятком, есть продажа на органы, пытки, издевательства, снафф (видео с реальным причинением вреда, расчленением и убийством).
Хуже. Всегда. Бывает.
Была бы только фантазия - а хуже сделать всегда получится. Но, например, побои даже лёгкой тяжести остаются преступлением, хотя "могло же быть и хуже, не убил же".

Дурсли издевались над ребёнком, даже если у них были на то причины и были свои границы.