МТА
Вы забываете, что у нас-то не было конкурирующих магических рас, а у магов были. На первых стадиях маги вообще вряд ли как-то могли противостоять кентаврам или арахнидам, не говоря уже о драконах и василисках. Варили зелья, колдовали без палочек или примитивными посохами. Не вымерли вот интересно почему? Никому не было дела до них или как-то доминировали действуя сообща?
Да и с магией лечащие свойства легко позволяют пережить и не 5 родов, а больше. Уизли как пример и ничего, никто не умер. Даже со ставкой на уровень развития магии какая-то корреляция будет и в прошлом.

Мне видится аппарация, как залог выживания первых магов. Оттуда же древние знания анимагии, чтобы скрываться. Это самое банальное, что могли делать первые волшебники, не зная о палочках.
Жили бы они, обладая подобными навыками, где-то вне доступности всех остальных. В горах, в недоступных всем остальным пещерах, которые постепенно с помощью магии стали превращать в разветвленные жилища и в итоге в замки из монолитной скалы.

Согласитесь, воинственные племена маглов и всегда убегающие и прячущиеся от опасности маги не одно и тоже. Культура даже в своей основе закладывается совсем другая. Зельеварение, аппарация, анимагия, жертвоприношения(магия крови, руны) и первые ритуалы. Базис.
Уже совсем иное развитие племен в самой своей основе. Каменные котлы, руны на крови, ритуалы на алтарях для сохранения магии, первые клятвы неведомым богам...