Да нигде в каноне не сказано, что магов на самом деле мало. Ну да, в Хоге учится не так много народа, но это может быть просто магический Итон. А все остальные школы, пусть и существуют - не котируются по сравнению с Хогом настолько, что хогварчане занимают все значимые посты.
Единственный важный довод - если бы магов было много, кто-нибудь из этих чудиков давно бы попался людям. Но если уж премьер-министр в курсе существования магии - это как-нибудь уладят.