Есть разница между "относиться плюс-минус равнодушно" и "не любить". Дурсли практиковали последнее, когда по-хорошему должны были выбрать первый вариант, тем более что Гарри был ни в чем не виноват - его подкинул Дамблдор. Вот прямо красочный пример из канона: Дурсли никогда не дарили ничего на День Рождения Гарри (не считая старых носков) и никак не отмечали его, хотя, блин, торт, чай и книга в качестве подарка раз в году стоят не то чтобы много. Плюс у них была, если не ошибаюсь, нормальная комната, но Гарри все равно рос в чулане. И вы просто представьте себя на его месте, что вы всю жизнь растете с осознанием, что никто вас не любит и вы особо никому не нужны, причем на контрасте есть человек (Дадли), которого любят и которому все всегда прощают.

По поводу того, что они делали это из-за магии - Петунья росла вместе с Лили, и максимум, что делала Лили на её глазах в каноне - управляла чашками и заставляла цветы цвести, и то, по-моему, первое она делала уже после поступления в Хогвартс. Там в комментариях к одному фику его автор даже вспомнил интересный факт - когда Хагрид пришёл забрать Гарри, Петунья не упомянула о том что Лили магичила что-то ужасное, хотя, казалось, должна. Но ок, предположим даже, что её способ нагружать Гарри работой рабочий, и его магия таким образом сдерживается. Однако что мешало ей "духовно" проявлять заботу к племяннику (например, поздравлять его с Днём Рождения) или хотя бы раз в год ослаблять "ярмо", отпраздновав День Рождения Гарри, я искренне не понимаю.