А что, у Гарри была очень страшная жизнь? Его не били, кормили.
Житие под лестницей кончилось сразу по началу обучения в хоге. То что он не мог обеспечить себя хоть какими то условиями, это уже во многом его проблемы. Предпочитал лежать на кровати и ничего не делать. Учится он тоже в принципе не желал. Да и друзья у него, ленивый идиот и туповатая зубрилка. Вот и имеем то что имеем.