Тут ведь как.
Это у магглов можно разграничить - мол, ну да, помнить вы помните, но фиксировать нигде нельзя. Мол, память вашу без вашего согласия никто не вытащит на белый свет.
Но у магов-то память вытащить вполне себе возможно.