А откуда он мог знать о "всех" таких людях и "всех" вызовах? Даже учитывая доносы Пожирателей - Волдеморт же не всеведущий Господь Бог. Получается, выбирал не из объективно всех, а только из тех, о ком знал, а знал только о тех, кого при нем упоминали.
/Мечта по пути: эх, интересно было бы прочитать фанфик, в котором Волдеморт отметил Избранного, все как положено, - и ошибся. Развязалась бы война, все по канону... А потом причиной его гибели оказалась маглорожденная девочка (а лучше - вообще магла, знавшая о существовании волшебного мира. Или сквиб - про их существование мы не забыли?), которая в решающий момент почти случайно вмешалась в ход событий... Еще очень красиво - по-английски красиво - было бы, если бы эта девочка родилась на исходе 7-го месяца от произнесения пророчества, то есть в конце декабря. На Рождество, yes!/
Собственно, содержание книги можно истолковать так: Волдеморт отчего-то решил, что под пророчество подходят только две семьи, а Дамблдор ничего не решал - он следовал за событиями и (вроде как) организовал защиту именно этих семей. Тогда все более-менее укладывается в схему.
Собственно, и я указываю не столько на нелогичность изложения у Роулинг, сколько на нелогичность поведения Волдеморта. Одно объяснение: крестражи, изготовление которых, по-видимому, уже сильно повлияло на его рассудок.