В фаноне давно считается, что просто становятся бледнее, как бы отступая во времени, но я не знаю, отвечала ли на этот вопрос непосредственно Роулинг.
Другой вариант: сохранение абстрактно-отстранённого знания благодаря косвенным воспоминаниям о воспоминаниях.
Полное исчезновение порождало бы вопросы.
Типа «откуда ты знаешь, что нужно вытащить из Омута, если ты не помнишь, что туда положил?».
Ну и это от желания мага может зависеть.