Э... Вроде в первой книге канона упоминается, что он был мелкий и тощий. Что логично, если его в детстве недокармливали.
Ну и мы ничего не знаем про рост коллег Гарри. Например, если они там в основном высокие, то на их фоне он может себя чувствовать мелким даже при среднем росте.