Дурсли просто-напросто тупые. Сильно тупые.

Родственник-маг - это доступ к магической медицине, которая на порядок эффективнее маггловской, и которая, судя по всему, позволяет значительно продлить срок жизни (хотя бы как один из факторов долголетия магов).
Родственник-маг - это доступ к артефактам, зачарованным вещам и отдельным заклинаниям время от времени, что является большим подспорьем в бизнесе, личной и финансовой безопасности, и т.п. и т.д.

Т.е. всего лишь не ведя себя как мудаки Дурсли могли получить долгую, здоровую и комфортную жизнь с бодрой старостью - а если бы приложили усилия, то и богатство, политическую власть, известность и вообще практически все блага, на которые может рассчитывать обычный человек.

Но поскольку они тупые ограниченные мудаки, они получили лишь сперва озлобленного, а потом просто презирающего их мага и отсутствие любых преимуществ магического мира, при этом оставив возможность для получения всех недостатков этого мира (разделяя эту возможность, впрочем, со всем остальным маггловским миром, т.к. незнание о магии не освобождает от возможности отхватить от магов или магических существ).

Ничего удивительного, что такие, мягко говоря, "недальновидные" люди, так воспитали собственного сына.