Есть теория, что бы им не подкинули Гарри, то они бы и были нормальной семьей. Согласно этой теории Гарри они гнобили, т.к. боялись, а Дадли излишне баловали, как бы искупая чувство вины перед Гарри.
Впрочем, не факт. Дурсли, откровенно говоря, чем-то напоминают опекунов Джен Эйр из одноименного романа, а их "нормальной семьей" сама автор явно не считала, как и их отношение к главной героине.