А что он помнил? Если мне не изменяет память, про Квиррела на кладбище он не упоминал ни разу, а про то, что его нашёл с помощью болтливых крыс Петтигрю и сделал ему временное тело - это он говорил. К тому же о том, что было с Гарри на первых курсах Волдеморт-дух вполне мог узнать от того же Петтигрю.