Чокнутый ангел, вся громада фольклора, сказок, мифов и легенд до появления фэнтези объясняла магию именно так. И ничего, вполне интересно получалось (-:

Конкретно в Поттериане у магии есть свои внутренние законы и ограничения, проистекающие из того, как люди думают. Это, гм, проекция разума на материальный мир.