Ну он как бы, шел убивать Гарри не просто из-за каких то слов. А из-за истинного пророчества. Которое обязательно сбудется, по фольклору мира Ро. Ну например мне тоже не важно было бы ребенок или нет, если бы я точно знал что он меня убьет в будущем.
Это из рубрики убили вы бы Гитлера встреть вы его ребенком? я бы убил.

Так что там у него был не безосновательный страх, а вполне реальный. А дальше он охотился за Гарри так как только удостоверился в правдивости пророчества.

Да и прям таки одержим?
Первый курс, он Гарри пытался убить просто походя а не целенаправлено. Не прийди Гарри сам к нему в комнату с зеркалом он бы его и не тронул в тот момент.
Второй курс, тоже он Гарри и не трогал. Не приди тот опять к Волди сам, Волди его и не трогал бы.
Четвертый курс и Кубок, вот там он за ним шел, согласен. А была у него причина? Да, нужен был ингредиент. Да и уверен у него там была обоснованная злость на Гарри.
Ну а после возрождения, Гарри он искал опять же из-за пророчества а не просто так.