Внезапно стрельба - меньшая часть того, что нужно иррегулярному формированию. И физподготовка нужна не только для того, чтобы стрелять, но и для того, чтобы занять позицию, чтобы уклониться от каста (не всегда можно всех срезать), чтобы, наконец, взять и надрать задницу оппоненту.
В конце концов, если принимать сцену в доме Поттеров в каноне за реальность, а не за подменённые воспоминания (на что очень похоже), Джеймс Поттер, обладай он приличной физподготовкой, мог бы победить Волди безо всякой палочки. Когда тебе в рыло прилетает стул, колдовать сложно : )