У Альтры в "Кредите Доверия" Дурсли "где-то услышали" что магия лучше всего проявляется у детей волщебников в нормальных любящих семьях. Поэтому они не смогли полюбить Гарри, потому что это для них верный путь к реализации их страхов. Мне кажется это весьма хорошим объяснением.