Хм, Вы говорите, что никого не удивляло, как это он вдруг сразу полетел на метле, и тут же удивляетесь, чем обосновано его умение в ЗОТИ. Так ведь его успехи в ЗОТИ как раз таки намного легче объяснить, чем метлу. С метлой дело в наследственности, насколько я понимаю, нам намекают на его отца. А в защите ему нет равных именно потому, что он лучше всех сопротивляется злу. Его успех основан на его, так сказать, ментальных качествах. Поэтому только он смог сопротивляться империо, хотя подобное довело до лечебницы даже невыразимца.
Вообще, как я понимаю, проблема тут в трактовке магии как таковой. Сейчас уже видно, что Вы рассматриваете магию в ГП, как магию в какой-нибудь игровой вселенной, хотя это в принципе неправильно. Магия в ГП проистекает не от явления природы, а от волевого усилия. Для её постижения важен строй духа, потому в ней и сильны либо неукротимые (Волдеморт, Поттер), либо концентраторы (Дамблдор, Гермиона). Ума и умений как таковых тут не нужно, иначе всех бы забарывали рейвенкловцы.