Люди разные.Тем более страдания ГП сильно преувеличены.Старшие Дурсли его не били,а Дадли с дружками это не отморозки из детдома или трушоб так,что особых побоев наверняка не было.
В Хогвартс он попал в 11 лет когда его личность ещё не сформировалась.
Возможно приди Хагрид на пару лет позднее и он бы озлобился.
Однако благодаря пренебрежению Дурслей Гарри стал считать Хогварт и волшебный мир домом и был готов защищать его любой ценой