Эволюционно и культурно мир волшебников развивался вместе с миром магглов до конца 17ого века. И до сих пор подчерпывает идеи, например магический скотч (и это в мире, где чуть ли не каждый выпускник знает "репаро"). Демографически, принимая канонные данные за отправную точку (сорок студентов-первокурсников), и накладывая на процентное соотношение детей в британском обществе, как раз получаем меньше 10000 человек при любом раскладе. Культурные и социальные явления, как те же отделы Министерства заимствуются у магглов. Численно же группа намного превосходит группу охотников-собирателей, а те как-то выживали и не исчезали. Экономически же сложно. Мне неясно как функционирует волшебная экономика и откуда Министерство берет деньги. Поэтому численный состав Министерства скорее всего ограничен, и даже если там действительно работает сотня магов - скорее всего у них очень мало работы, и многие должности сдельные или совмещенные.

Понятно что Роулинг не в ладах с математикой и скорее всего понятия не имеет о демографии. Но миллион волшебников представляет нешуточную угрозу для маггловской Британии, и вряд ли это не осознали раньше. Более того, Волдеморт не представляет угрозы для миллиона волшебников.