http://russia-now.com/wp-content/uploads/2016/11/rich-vs-poor.png
http://secrets-world.com/uploads/posts/2014-08/1409038235_oscar-ruiz-erase-the-difference-26.jpg

индия:
"Неприкаса́емые — принятое в русском языке общее наименование ряда каст, занимающих самое низкое место в кастовой иерархии Индии. Неприкасаемые составляют 16—17 % населения Индии.

Неприкасаемые не входят в систему четырёх варн. Они считаются способными осквернять членов более высоких каст, особенно брахманов."(С)

Япония:
"Хинин и эта не имели права жить в городах и деревнях, входить в храмы, первыми заговаривать с представителями других сословий, владеть имуществом и заниматься земледелием (налоги они, правда, тоже не платили). Им запрещено было вступать в брак с представителями других сословий (хотя исключения, конечно же, бывали) и даже прикасаться к полноправным жителям Японии. В случае нарушения какого-либо запрета поселки "неприкасаемых" просто стирали с лица земли, истребляя поголовно всех жителей.

Именно из этого сословия и вышли синоби. Сами понимаете, о том, что они владели какими-то скрытыми техниками дыхания и рукопашного боя, не может быть и речи — кто бы научил этим методикам неграмотных, забитых и всячески презираемых людей? Судя по всему, все их оригинальные способы ведения рукопашного боя синоби придумали сами, просто для того, чтобы защититься от обидчиков. А раз "неприкасаемые" были охотниками, могильщиками и живодерами, то, естественно, очень хорошо знали человеческую и звериную анатомию и физиологию."(С)

Если магов не интересует просто земля, а только там где есть некие магические источники.

Кроме того страх контактов, может быть обусловлен продолжением рода. Допустим гибриды людей и маглов в первом поколении дает сильных одаренных, которые вносят дестабилизацию в магический мир, а во втором поколении бесплодны (Снейп, Макгногал, Хагрид). Тогда вполне может быть оправдано желание снизит контакты до минимума.