В многих фанфиках (про все не знаю) Гарри умственно не очень развит. Читать категорически не любит. Поэтому и попадается в ситуации. Том тоже рос с маглами, но сумел получить знания.