Магия это метафора творческих способностей, мне кажется. Волшебники учатся с детства ее контролировать. А если в результате психической травмы магия будет подавлена, то становится неуправляемой и страшной силой.
Как вышло с сестрой Дамблдора.
Волшебники могут колдовать без палочек и без заклинаний, но тогда магия становится спонтанной, плохо управляемой.

Многие говорят, что магия в мире Роулинг никак не объясняется, но я думаю, Роулинг оставила важные зацепки и намёки