Вы забываете о ещё одном аспекте - Тёмными Лордами за один день не становятся и приспешников за две недели не собрать.
Я не особо шарю в хронологии, но мне видится что он 10 лет скитался по миру, набирался знаний. А потом в 56 году приехал в Англию - с голой жопой и кучей амбиций, талантливый но никому нафиг не нужный полукровка. И начинал работать с нуля - поднимал школьные знакомства, искал друзей и союзников, добивался влияния и признания. В конце концов он зарабатывал деньги - забесплатно мир не захватишь.
И только к концу 60-х он сумел набрать достаточно сил и влияния что бы его хотя бы заметили. Но даже потом он ещё 10 лет отчаянно бился и так и не сумел взять власть в министерстве до 81 года.

Добавлено 16.07.2013 - 07:52:
Могу придумать ещё один аспект - магия сложная. Очень сложная!
После 10 лет путешествий он был сильным магом, но на Тёмного Лорда он не тянул.
Дамбльдор упоминал что Том провёл множество "тёмных ритуалов" дабы увеличить свою магическую силу, но никто не задумывается что на их проведение понадобился не один десяток лет - куча разнообразнейшей макулатуры на древних языках, поиски ценнейших и редчайших ингредиентов для сложнейших зелий, огромная научно-аналитическая работа. На своём пути к власти Волдеморт наверняка совершил целую кучу колоссальных научно-магических открытий. Так что неудивительно что Англия не была захвачена ещё в 50-е.