кусь
Заметьте, Гарри ведь в достаточной степени социализирован, он не Маугли какой-нибудь. Да и не похоже, что он дядю и тетю по-настоящему боится. И можно сделать вывод, что по крайней мере первые годы было более-менее нормально.
А вот насчет чулана - думается мне, Вы правы, это именно из-за стихийной магии и страха перед тем, что могут увидеть соседи. В каноне описано два или три случая (когда на крышу взлетел, волосы учительнице перекрасил), но при этом сказано, что странные вещи случались с Гарри часто. Я когда свою работу о Дурслях писала, исходила из этого предположения, что магия у Гарри таки проявлялась, и эти проявления иногда были достаточно сильными и пугающими. Хотя до чулана у меня как раз и не дошло, там про самое начало его жизни у Дурслей.