Как минимум одно объяснение у меня есть. Магам нужно меньше места. Во-первых, их банально мало. Во-вторых, они могут нужные территории скрыть от магглов, а те как хотят. В-третьих существование Косого переулка и дома на Гримо, 12 доказывает, что определенного рода манипуляции с пространством маги делают. Туда же идут палатки, сумки и т.д. Как результат - отсутствует стремление к экспансии.
Плюс, маги могут обойтись меньшим количеством ресурсов. Им не нужно много дров - магический огонь Гермиона на первом курсе наколдовывала. Им не нужна металлургия - магия заменяет инструменты. Кое-что можно спереть у магглов, если припрет, а трансфигурация не получится.

И о них тоже. Как говорил Вернон Дурсль "У них (магов) мозги работают по другому". Опять же, другой способ жизни, другие условия, другой принцип развития.

Если припрет, то и на плотах через Тихий океан поплывешь. Думаю, вам известна гипотеза Т. Хейердала о происхождении полинезийцев? А магов банально не приперло.