В принципе и 100 тысяч населения МагБритании можно легко и просто обосновать. К примеру, каждый волшебник в 11 лет получает заветное письмо из Хогвартса, но как я помню, выбор идти или нет в Школу Чародейства и Волшебства сугубо личный у каждого. Может быть многим не так уж и важно образование в этом дурацком Хогвартсе, возглавляемым этим чудаком Дамблдором может быть многие дети из чистокровных и не очень семей просто не хотят туда идти, может быть, пока Поттер грыз гранит науки в холодных подземельях Снейпа, ещё человек 100 его одногодок, грызли этот самый гранит в домашней обстановке, или не грызли вовсе, ибо вызывать Люмос, собирать вещи Репаро и применять другие простейшие их и так научат родители, а остальные заморочки не для них?
Если всё вышенаписанное в двух словах, то для того, чтобы обосновать 100 тысяч, нужно поставить под сомнение значение Хогвартса. Вот.