Беда всех подобных рассуждений в том, что рассуждающий пытается рассуждать, как учёный, тогда как подобная парадигма к таким рассуждениям неприменима. Уж сколько раз по ГП видел подобные попытки.
Вы не рассматриваете ещё один вариант - у всех эльфов "общая" память. Причем, необязательно даже заключенная в них самих, а, условно, "разлитая" в природе, в их среде обитания. Отсюда такая привязанность к лесам, лугам и т.п. Это в прямом смысле дети природы, так же, как дварфы в прямом смысле дети камня, земли. Им необязательно помнить всё непосредственно, потому что сама окружающая среда является продолжением их самих.
Именно так и нужно рассматривать магические расы, как построенные по законам, отличающимся от законов нашего мира.