Да и не только мадам Роулинг. Вроде ещё в "Оливере Твисте" или ещё у кого проскакивало, мол, вырос в приюте - считай рано или поздно кончит жизнь или в тюрьме, или на виселице.
Да и Хогвартс неуловимо напоминает интернат (запамятовала название )в котором училась Джен Эйр, вплоть до дубаря в коридорах зимой и ханжи-директора. Разве что волосы принудительно не стригут.
У магглов в школе вряд ли кто интересовался - чего это племянник совсем не бедных Дурслей ходит в очках склеенных скотчем и одежде с чужого плеча (иначе они бы разорились на что-то приличное - у них идея фикс "казаться нормальными людьми"). Вот и в Хогвартс Гарри приехал уже с пониманием что взрослым пофиг (и не говорите мне, что он так уж неправ).