Имхо, но это выглядит очень натянутой попыткой обелить Дурслей. Вроде как и логично все доводы звучат, но нет. Будь книги Роулинг о мире без магии и стройся конфликт на чем-нибудь другом, сменилось бы лишь причина неприязни, но никак не само отношение. К тому же у неприязни к магии Петуньи корни растут из зависти к младшей сестре, чему есть доказательство в каноне, а страх пришел уже потом.
Заботы и стремления защитить я в их отношении к Гарри не вижу ни на грош. Оберегают того, кто не безразличен, кого любят, а вот как раз любви-то ему от Петуньи с Верноном и не досталось. Только неприязнь и страх к его инаковости. И не страх, что скажут соседи, вдруг они сочтут их кем-нибудь не тем, кем и т. д. (Когда кого-то любишь и бережешь, меньше всего заботит подобная ерунда и уж точно счастье дорогого тебе человечка дороже чьих-то там досужих пересудов.)
Отношение Петуньи к собственному сыну тоже показательно. Он растет избалованным с самых молодых ногтей. В самой первой сцене, где те ещё не знают о скоро свалящемся на них "подарочке" в лице любимого племянника, она умиляется тому, как её сын все и всех то ли забрасывает, то ли оплевывает кашей. То есть ей даже в голову не приходит, что ребенок балуется, что это надо пресечь, хотя бы просто забрать у него ложку, а то и тарелку. Если Дадлипусечка чего-то хочет, то он непременно должен это получить. Ребенку можно все. И дальше она просто следует однажды выбранной и усвоенной линии поведения и мысли не допускает, что делает что-то не то. (К слову, Дамблдор им на это в шестой книге намекнул даже, когда приходил забирать Гарри, но не уверена, что даже после этого они все поняли и осознали.)
Имхо, но здесь все лежит на поверхности и нет смысла искать какую-то черную кошку в темной комнате, особенно с учетом того, что её там нет.
Это вполне себе жизненный сценарий и такое поведение свойственно не только молодым мамочкам, увы((

Отвечая же на вас вопрос,

>Стоит ли судить их строго за ненависть ко всему волшебному?

За ненависть - нет, а вот за отношение к собственному племяннику - да. И, к слову, Лили, которая пугала Петунью своими способностями, ничем не навредила родителям, которых любила и которые в своею очередь очень любили её. Так что, если уж они так боялись, то лучшей тактикой было бы если и не любовь, но по крайней мере несколько более человечное отношение к Гарри (а так же не баловать чрезмерно сына и одинаково справедливо делить между ними и подарки, и обязанности, и наказания (за дело, а не из-за своих фанаберий). А уж о том, что они своим отношением как бы косвенно поощряли травлю, которую Дадли устроил Гарри, я и вовсе промолчу.

Не могу сказать, что они вызывают у меня особо сильную неприязнь, но уж симпатии и сочувствия не вызывают точно. (Разве что в фиках, где автор соответствующе их выпишет, но уж точно никак не в каноне.)