Вообще, то, что Дурсли не избивали Гарри до полусмерти, как в некоторых фиках, вовсе не значит, что рукоприкладства в их семье вообще не было - упоминаний подобного в каноне, прямых или косвенных, достаточно.