Я уверена, что Гарри запрещалось лазить по окрестностям. Однозначно. Мало ли что могло случиться в связи с выбросом магии - ведь всё странное связано со школой/самим Гарри.
Да и знакомство с посторонними Дурсли не могли приветствовать - иначе начнутся походы в гости и т.д., а там вдруг ненормальность проявится и т.д.
Так что и маленьким он сидел взаперти, и "не попадался на глаза" - пребывал в своей комнате. А комната - это святое, туда никто не полезет. Но элементарно выходить вдоль по стеночке в туалет и поесть ему приходилось.
Вот отсюда и вылазит и его нелюбопытность, и интраветность, и отсутствие приятелей, и привязанность к немногим близким, что он был погружён в себя.
Придумывал истории (об этом тоже есть в каноне), сто раз вспоминал, что было (это тоже есть, бесплодно фантазировал о будущем (фантазировал, а не планировал!) - и дремал.