Гарри был под заклинанием надзора, как все несовершеннолетние ученики Хогвартса. А стихийную магию же никто не отслеживает - Гермиона говорит, что с ней в детстве случались всякие странности, и родители не знали, как это объяснить, пока к ней не пришли из Хогвартса. То есть, никаких авроров не было, и память родителям Гермионы никто не стирал.
Авроры появляются, если маг сознательно колдует в присутствии маггла - но не при проявлениях стихийной магии.