Как бы не наоборот. В большинстве человеческих обществ расистские поползновения проявляются к ближайшим соседям, о которых все в достаточной мере осведомлены.
Меньше знаешь - лучше спишь. Вон, Гриндевальд решил покомандовать магглами - всем миром еле задавили. А если того же захочет половина волшебников?