Тем не менее Гарри считает его домом, а Дурслей семьёй (а Петунья считает семьёй Гарри). Потому что именно поэтому защита всё ещё работает, это буквально Дамблдор объясняет в тексте