Я это в своем фанфике объясняю так: Том Риддл благодаря своему парселтангу нашел некий тайник Слизерина с забытыми заклинаниями и древними артефактами. Это дало ему что-то, что он мог предложить другим в обмен.

Дополнительно, он мог обещать поделиться секретом крестражей, даже о существовании которых знали не все. Много кто хочет стать бессмертным.

Так он получил первых последователей. Потом его влияние уже возросло и стало еще проще вербовать новых.