Да просто Волдеморт никому особо не мешал. Думаю, большинству, живущему вдали от Министерства и прочих скоплений волшебников вроде Хогсмида, было вообще не заметно, кто там у руля: Фадж, Скримджер или Волдеморт.