Численность магов может быть какой угодно.
1. Говорится, что Хогвартс лучшая школа, а не единственная.
2. Даже если она единственная, никто не отменял домашнего обучения.
3. На чемпионат мира по квидичу приехало 100000 магов, даже если их там было 20-30 тысяч(ну преувеличили организаторы с кем не бывает), то в основном это были болгары, ирландцы и англичане, остальных было не больше чем этих трёх, итого на чемпионат мира по самым скромным подсчётам пришло не менее 3000 английских магов, допустим пришло процентов 10 населения, а это очень много, то получается, что в Англии примерно 30000 волшебников.