Палочку надо при себе иметь, но можно не доставать. Понятно, что у Дамблдора палочка была. А вот что случайно встреченная на дороге банда с ходу поставила антиаппарационные чары - ни под каким Империо не поверю, этого Лорд не сделал, готовя ловушку в ГЛ.