Как там было у Щербакова?
"Это я, отрицавший тирана не за то, что он зверь и вандал,
а за то, что он глуп."
И это суть. Волди в каноне глуп и это ключевое.
В любых других случаях нашлось бы много читателей и фикрайтеров, которые отнесли бы его к положительным персонажам. Но у РО он "злодей", а злодей должен быть "глуп"...
Ну а Гарри в таймтревелах обычно глупым не выводят. В этом и разница.