Если предположить, что никто их силой не загонял, выходит, они сами себя загнали и политическая магическая картина тех времён была другая, чем вы описали.

(а если и загоняли силой, то что это были церковники - довольно популярный вариант, от магов-перебежчиков (ибо миссионерство) до божественной помощи)