Ну кого мог - призвал в 5й книге. Но мог он несколько меньше декларируемого - министерство его не особенно и ценило, всякие там аристократы скорее на Малфоя ориентировались, простонародье... ага, толку-то от журналистов, лавочников, мороженщиков и прочих. Все радовались, что Темный Лорд как-то испарился, и верить в его возвращение никому не хотелось. А с доказательствами, между прочим, не айс.
Плюс пророчество. Насколько я понимаю - Дамби (тут он имхо ошибался) не собирался перебить всех, кто может пойти за Волди (и даже тех, кто за ним таки пошел). Его главная цель - сам Темный Лорд, лично. А тут кроме Поттера просто некому играть. Тут толпа не нужна.