А в первой книге четко сказано: "Все, кого Шляпа отправила на Слизерин, начинали казаться Гарри неприятными". Его видение - наши - славные, не наши- уроды. Гермиона из чувырлы превращается в нормальную девчонку, как только он с ней подружился. Юный Реддл и СБ (когда Гарри его предателем считал) казались ему таковыми, видимо, потому что были экстремально красивы.