Он ушел в 13 лет, когда раздул тетушку Мардж, но потом появился Сириус, который угрожал Дурслям, что придет и перережет всем горло...то есть превратит в етучих мышей. Затем воскрес Волдеморт. То есть до 13 было как-то рано, а после начались обстоятельства. Но - да, будь в Гарри больше амбиций и свободолюбия он бы свалил раньше и плевать на защиту, магию крови и миссис Фигг.