Третья версия - в старых семьях вроде Блэков и Малфоев, есть не оглашаемые посторонним методики воспитания детей, тренировок, и так далее. Поттер палочку увидел только накануне поступления, а читать научился по каталогу инструмента в чулане, а Малфой научен читать с 5 лет, танцы и фехтование с 7, каллиграфия и рисунок... плюс еще два языка с 6-7 лет. В итоге у него уже опережение в развитии, и умственном и физическом.