Вы ещё учитывайте то, что Том с детства будет на виду. Его будут знать в Косом Переулке, его знают в Гильдии, он зарегестрирован в Министерстве и т.д.
Лина будет брать его с собой в другие страны, к знакомым в гости.
То есть у него уже до Хогвартса будут друзья, которые будут знать, что его тётя - арифмант, а сам Том - змееуст. Это в каноне в школу он приехал озлобленным приютским зверёнышем, здесь же всё будет по другому.