>>откуда ему иначе знать адрес Дурслей.
Несколько простых вариантов:
Лили сказала (или, например, попросила передать сестре письмо);