Подкидыша можно не любить. Можно вообще никого не любить, но это не отменяет необходимости адекватности в поведении.
Я не люблю животных. Я довольно резок с псиной и она ненавидит со мной гулять, я это знаю. Потому что у меня любое непослушание наказывается, в отличие от любящей ее тетки, которая покричит, поумиляется.
Но это не значит, что я неадекватен. Что я не покормлю. Что я не сделаю необходимое, не куплю то, что надо купить и т.д.
Дурсли не обязаны были любить. Но они должны были нормально заботиться в рамках необходимого, вроде покупки новой одежды и хорошего питания, как минимум. Так что они все равно вели себя крайне неадекватно.