А откуда эти самые "все" это знают, если Поттеры погибли, Блэк в Азкабане, а Питтегрю в бегах и официально мертв? Или, думаете, Поттеры на каждом углу кричали, кто у них Хранитель Тайны? Нет. Это именно Дамблдор лжесвидетельствовал. И все остальные "знают" именно от него. Цитату из самого Дамблдора Вам привели выше.