Можно подумать, у маглов нет людей, которые похеоивают свой потенциал, или не развивают его до конца. По разным причинам. Вот и Поттер так.