Насколько можно судить по рассуждениям самого Тома, скорее не физическая невозможность была, а нецелесообразность. Он не мог избавиться без ущерба для себя и собственных планов. А потом появился долг жизни. Насчёт Авады не знаю, вполне может быть привязка. Том ведь сам его выбрал и направлял их отношения как сам считал нужным, соответственно своим планам. Возможно, отсюда и нецелесообразность избавления от него на ранних этапах отношений, раньше положенного срока, так сказать, пока Поттер ещё нужен, а позже из-за долга стало уже затруднительно. О привязке автор прояснит наверно попозже в тексте.