Ну, у человечков картинка биологического отбора сильно размазана отбором социальным, но, ИМХО, на ген магии будет больше влиять последний.
В примитивных сообществах отбор будет, безусловно, отрицательным - потому как все эти стихийные выбросы сильно понижают шансы юного мага выйти из стадии хождения пешком под столом. При том, что у таки пережившего это шансы выжить подольше и оставить потомства побольше гораздо выше среднего.
Но как только вокруг магии создается социальная структура, то отбор перейдет в полностью положительное качество.
Вот и получается, что маги выжили в основном там, где сорганизовались.