волшебники тупые.

Во время Финальной битвы профессора могли эвакуировать младшекурсников при помощи хогвардских эльфов.

В четвертой части Барти мог не мучиться а приказать в своему эльфу в нужный момент переместить Гарри на кладбище.

После кражи Чаши Поттер мог попросить Добби переместить всех в безопасное место.

И еще много вариантов.