"Не было всемирного/государственного/областного центра."

Но был Хогвартс, например.
А еще, объединяться выгодно. Выянили это лет 4 тысячи назад, иначе бы так и жили в племенах.
Род, который живет один сам по себе сожрут, и не маглы, а 2-3 других рода, которым хватило мозгов объединиться. Но 2-3 союзных рода разнесет 7-8 других союзных. И в только в числах больше 10 начинаются сложности сопоставления и масштабироания, не факт что 10 родов окажутся слабее 20-30.

Если отбросить версию с тупизной магов, то получаетя что их общество жило разделенно, но было так или иначе объединено многочисленными связями, союзными в первую очередь, иначе не выжить.
Этакие блоки условно по 10-20 родов и больше, как кстати было на кавказе. Одиночек сжирали на раз. Кластеры по 2-3 сотни родов уже контролировали солидные территории.

И так у магов очевидно сохранялось какое-то равновесие. И мало мальски серьезный наезд на мало мальски серьезное объединение родов неминуемо привел бы к жесткой ответной реакции.
А если допустить, что поначалу у инквизиторов не было рабов-магов, то там бы она, инквизиция, и кончилась.