Или всё несколько проще и одновременно сложнее: дело в магомеханике портключей.
Предположим, что портключ зачаровывается на месте прибытия - привязывается к некой точке. И потом при активации просто возвращается на эту точку, прихватывая с собой магов/груз.
И для полной красоты, добавим сюда то, что портключ нельзя перемещать магией пространства, то есть, с ним нельзя: ни аппарировать, ни перемещаться камином, ни вспыхивать фениксом, ни шкафами сдвигаться в пространстве. Только ножками, и на метле/драконе.

Это многое поясняет. Например, вменяемый в вину Дамблдору полёт на метле в министерство в конце первого курса.