Вспоминая про невербалку, можно предположить, что взмах палочки тоже можно исключить из каста.
Собственно, по моему хедканону именно так Квирел и кастовал свою "беспалочковую" магию - прятал палочку в рукаве.