На самом деле я вполне вижу магов, проигравших магглам. Все кмк упирается в несобранность и малую численность. А вот магглы вполне могли объединиться и уничтожить большое число магов, вынудив их скрываться.
Даже если брать те же ЗВ: джедаи супер-люди, но против батальона клонов все же бессильны