Так Гарри на него как реагировал своим хоркруксом? Рвать, кусать, убивать...
Гарри по Дамблдору скучал, а кусок души Лорда ему смерти желал.
Думаю, он боялся, что Гарри не справится, да и швырнет Аваду.
и все - пропала душа Гарри.