Зачем боятся того, что не причиняет вреда? Способность видеть магию это же никакая не страшная особенность) Она зависит от широты восприятия действительности. Гарри, не отвлекаясь на раздражающие факторы, научился замечать мелочи в обычной жизни. А в случае с магией мелочью являются отголоски магической ауры, которые он и видит.