Ну, тут есть несколько нюансов.
В основном, основанных на восприятии.
Маги сильно иначе "видят". Т. е. больше - и слабых призраков, и часть иллюзий, и многую магическую живность, и лучи многих заклятий магглы просто не видят. А маги видят, вероятно, не совсем глазами.
Потом есть целое семейство селективных чар. Вспомните о виде Хога для магглов, о входе в Кривой, о комплексе чар на вокзале. Конфудус селективно по магглам более чем распространен, похоже.
Плюс есть оборотни и их нюх.