Так то да, в каноне довольно четко указано, что воля Гарри сильнее(сброс империуса от Волди на кладбище), и что как только Волди осознал и проникся, он намертво заглушил связь, теряя контроль только в знаковые моменты.
Тут же всего лишь Поттер понял фишку первым.