Ну, с адекватностью у него явные проблемы... и, собственно, что произошло в доме Поттеров - неизвестно (все, что известно - это воспоминание Гарри и болтовня Дамблдора). А Квиррелл пил кровь единорогов. Вполне возможно, что именно потому он не мог прикоснуться к Гарри - возможно, что и к любому другому ребенку.
Вы воспоминание самого Волдеморта не принимаете в расчёт? Ладно