У Дурслей столько же ответственности к гарри как и Дамблдора. Дамблдор тоже мог оставить себе но почему то не захотел