Так тут не в логике дело, а в механизме воспоминаний. Смотрящий всегда смотрит со стороны на воспоминания. Не сам - чужими глазами, а со стороны. Может прохаживаться там, менять точку обзора. Только воздействовать никак не может. Вспомните, как Гарри увлёкся рассматриванием Джеймса.
И недаром при повторном просмотре некоторых даже собственных воспоминаний удаётся вычленить что-то важное, пропущенное при обычном способе воспоминаний.