Blumenkranz, то, что вы перечислили, с точки зрения эволюции безусловными недостатками не является.
Мой личный хэдканон - это то, что магия даёт очень низкую рождаемость (по биологическим, а не социальным причинам) или огромнейшую детскую смертность - а то и то, и другое вместе. Поэтому коэфициент воспроизводимости у магов до серьёзного развития колдомедицины был даже несколько ниже единицы. При этом взрослый маг имел неоспоримые преимущества перед окружаюшими.
Второй вариант, тоже вполне вписываемый в канон - это то, что взрослых необученных магов вообще не бывает, в принципе. Т.е. либо его кто-то натаскивает в пользовании своими силами, либо он убивает сам себя еще в подростковом возрасте. Случайно. Тоже причина, почему распространение маггенов до развития социума резко тормозилось, а маги были вытеснены на границу ареала.
А потом социум таки вырос и у магов пошел бум численности со всеми болезнями роста - их отголоски мы видим в каноне. Тут даже сову на глобус натягивать не надо - максимум - воробья на шарик для пинг-понга.