А при чем тут внешность и острый ум? А касательно зелья... Так может быть и в этом дело, что Риддл Старший был магглом(а как зелья действуют на магглов и их потомство неизвестно, НО дементоров магглы не видят, хотя и ощущают), будь он магом скорее всего таких последствий не было.
Лидером Слизерена он стал ещё до того, как начал изучать темную магию(темная магия + искажённые гены + крестражи и вот результат)
Короче говоря тут совокупность факторов.
Но это всё на мой взгляд. Вы, как я понял, более компетентны в этом вопросе, поэтому я склонен немного согласиться с вами, хотя темную/светлую магию считаю плодом фанонов...