А кто учился в Хогвартсе?
Том Риддл, который владел парселтангом и жил в приюте. Мало ли как он в этот приют попал и какую ему там дали фамилию. Пару намеков тут, пару - там. И уже никто не поверит, что кто-то из Слизеринов мог связаться с маглом! Тут опять же и ему самому могло и не прийтись делать что либо. Напыщенные чистокровки могли сначала сами такие слухи пустить, а потом и поверить в них.