Когда сова приносит письмо, Гарри говорит - пусть Дадли принесет. Не дословно цитирую, но ведь он это говорит. Значит не такой уж зашуганный и боящийся собственной тени мальчик, что при постоянной лупке было бы просто невозможным. Да, он привычно уворачивается, но ведь близнецы Уизли точно так же привычно уворачиваются от Молли. Это значит, что она их лупит постоянно?
Дурсли называют Гарри хулиганом и! соседи и учителя с ними соглашаются. Назвать тихого и забитого мальчика хулиганом получится только у слепого. Да, Дадли и компания не ангелы и придираются к пацану, но где написано, что он все спускает на тормозах? Или в школе не видят ничего дальше своего носа? Тогда на Гарри явно какое-то заклинание, чтобы на него не обращали внимания. Но если такого заклинания нет, то общественность видит разборки малолетних драчунов и не вмешивается, пока те не переходят границы.
Конечно, есть вопрос с чуланом... Но это уже не относится к категории физической расправы.
Так что на Гарри Дурсли давили морально, сильно не любили и опасались, но вот постоянные побои от старших под очень большим сомнением. А насколько описан канонный Гарри, учитывая, что весь мир показан его глазами,то с его мнительностью он может сильно преувеличивать. Даже не для окружающих, а для самого себя. И у него есть шикарное оправдание - я вам не родной, вы меня ненавидите и если бы мои родители были живы, то мне жилось бы намного лучше.