Дурсли могли не столько использовать Гарри как прислугу, сколько выматывать ребенка, чтобы сил на выбросы было поменьше и чтобы все это было не на глазах у соседей. В спортсекцию не отдашь, в парке не побегаешь - так пусть грядки копает от забора и до обеда.
И это он еще подрос, можно чем-то занять. Представляю, как Дурсли офигели, получив в придачу к своему ребенку в возрасте "силы есть-мозгов нет", второго такого же, только с магическими выбросами.