Ну боялись скорее не самого племянника, а магии. И обоснованно боялись. То же самый светлый и добрый Хагрид Дадли хвостиком наградил и ведь никакая зараза не почесалась, чтобы убрать. Пришлось к пластическому хирургу идти, да еще и за молчание, скорее всего, доплачивать.
Лично я такого племянника с такими знакомыми послала бы сразу далеко и надолго. Свои как-то ближе. А то, что Гарри не понимал, что Дурсли боятся собственной беспомощности против магии, исключительно проблемы Гарри. Что-то у Гермионы родители не сильно боялись, да и у других воспитуемых маглами волшебников не озвучены никакие проблемы. Значит все-таки проблема в отношении друг к другу.