Ну так а как же пророчество что его может убить только Мальчик-Который-Гарри? Хотя сомневаюсь, что Волан-де-Морт бы отразил, допустим, атаку всех своих подчинённых сразу. Хотя, если бы отразил, то худо бы пришлось.
Тем более, они скорее не ненавидят его, а изощрённо преданны ему. Есть ещё вариант, что все они мазохисты. Верят в великое будущее, которое он по идее им устроит. (Напоминает современный мир, да).