Я подозреваю что дело в том, что у Тома не было рядом Дурслей которые точно знали что он волшебник, наказывали за каждое проявление магии и целенаправленно пытались морально сломать.