Необязательно. Достаточно предположить, что маглам нечего предложить, магам. Допустим их эстетике чужда одежда, музыка, искусство. Здравоохранение лучше, еда вкуснее. и т.п.

Если тебя поселить среди нигеров, ты сам добровольно построишь забор, чтобы от них отгородиться.

Собственно так и произошло в Бразилии. Когда районы богатых окружены заборами с вооруженной охраной.