И наверное он был в курсе защиты от Лили (может Дамблдор его просветил на эту тему), так что у Дурслей Гарри был бы в безопасности до определенного возраста.