Согласен, в каноне точной цифры нет, упоминается только "школа".
Да, в школе тот же Дадли мешал социализации Поттера, не давая никому с ним подружиться.