В моем хэдканоне (как я поняла из книг), воспоминания сохраняются, просто не можешь найти дом.