Не обязательно смерти нехов оказывают влияние. Это раз.
И два. Поттер с самого детства жил с мыслью о смерти близких. В 11 на его руках и с его непосредственным участием погиб первый человек... Постепенно привык.