Да, но не стоит сбрасывать со счетов тот факт, что Риддлу досталась часть генов его отца. Очень может быть, что потенциал у Гонтов все же был, но из-за инцеста в генотипе накопилось множество сбоев из-за чего реализовать данный потенциал оказалось невозможно. Типа как талант к музыке при полной глухоте. Реализовать можно, но надо приложить немалые усилия, а это не про кого-то с нравом того же Марволо.
А тут красавчик Том Риддл-старший, с более-менее приличным генотипом. Удачная комбинация генов и возможность реализации потенциала появилась. А потом случился приют, случился Хогвартс, случилась Вторая Мировая, крестраж в дневнике и все, вместо перспективного мага мы имеем психопата с манией величия, танатофобией и неизвестно чем ещё.
Заметьте, Риддл не поленился постранствовать по свету в поисках знаний и могущества. С другой стороны, рядовые маги явно не торопились учиться новому. Собственно, если за шесть книг никто из персонажей не заговорил на тему "где учиться после Хогвартса", то это наводит на определенные подозрения.

МагБританию захватить потянул бы даже Гарри в каноне со своей АД.
В пятой книге мало того, что Министерство Магии было открыто для каждого кому хватило бы ума набрать нужный номер, так ещё и АД с Пожирателями играли в "догони меня Авада" достаточно долго и никто даже не пришёл глянуть что за фигня происходит.
Мало того, Скримджер, который как бы глава Аврората за целый год так и не смог принять меры против захвата Министерства. Остальные британские маги вообще заняли позицию "мой ковен скраю, ничего не знаю".