Я думаю, могли даже помнить окружение дома. Просто оно не собиралось в картинку. Типа, вспоминает такой чел: вот дом Поттеров. Вот окружение дома. Хм, это же Годрикова Лощина! Ну, Годрикова Лощина, поселение такое, да. А о чём я только что думал? А, дом Поттеров, да, красивенький такой... Т.е. мысль как бы соединяется по ассоциациям, но "собрать" из памяти место, где находится дом - нельзя. Хотя ты можешь вспомнить окружение и даже идентифицировать его. Но понимание, что дом находится там - не будет. Аналогично с любыми другими подсказками. Какой-нибудь продавец домов будет помнить, что Поттеры купили у него дом. Прокручивая воспоминание, он вспомнит, что продавал дом в Годриковой Лощине, круто. А что дом Поттеров оказался в Годриковой Лощине - оно не соединится. В случае прямого воспоминания (Джеймс говорит мне, что живёт в Годриковой Лощине) распадётся на смыслоатомы сама фраза: Джеймс, да, сказал. Сказал, где живёт. Ещё он сказал про Годрикову Лощину. А смысл целого предложения как бы ускользнёт, хотя отдельные слова и связки слово понятны. Причём ускользнёт не только смысл, но и тот факт, что "что-то не так".