Ну, он маленький пока - я думаю, там особой разницы поначалу не было. Всё-таки осознанно-то он колдовать не может. И бояться его стали позже, мне кажется, когда серьёзные выбросы начались. Просто не выглядит Гарри зашуганным - как ребёнок, которого с раннего детства шпыняли. Он вполне себе огрызается же и на дядю, и на тётю. )
Поэтому и вырос такой, какой вырос. Очень похоже, что опасаться и шпынять его стали уже в довольно взрослом возрасте - когда он уже мог как-то за себя постоять. Да и всё равно его не то что гнобили ужасно же, как многие фикрайтеры любят показать.