я думаю, дело в том, что дети вообще существа довольно простые и пока не привыкшие скрывать свои мысли, намерения и т.п.
так вот, те, у кого вот это все наружу и легко считывается, распределяется по факультетам, а детки себе на уме, те самые тихие омуты, отправляются по остаточному принципу в Пуффендуй, где они могут заниматься без помех и свидетелей любимым делом, чем бы то не оказалось

таким образом, мы понимаем, что из Пуффендуйских уютных спаленок вышло ничуть не больше Чорных Властилинов, чем из разрекламированного Слизерина, просто они не склонны к дешевой популярности и шумной рекламе
они просто тихо и планомерно делают свое дело - покоряют магический мир или забираются на вершину власти маггловского, проковыривают дыры в соседнее измерение или выводят полчища мутантов животного/растительного мира...