Так Гарьке письма летели с точным адресом, который корректировался с изменением даже помещения, не то что дома. И у Хагрида такое письмо было - он его посону же отдал на острове.
Гарри мог бы за десятки лет не встретиться с Хагридом только если бы он все эти годы непрерывно (быстрее, чем Хагрид успевал бы метнуться до хога, получить новый адресок и добраться до мальчика-который-опять-смылся) перемещался.

Хммм. То есть Дурслям нужно было переселяться в жилой трейлер.