Видимо , мы с Вами по-разному понимаем русский язык! :)
"Мне нет хода в библиотеку" - это когда я туда иду, а меня не пускают.А если я туда и не собирался, но если пошёл бы - не пустили, то по-русски это "мне не было бы хода в библиотеку".Как-то так.
А фраза в тексте ,ИМХО, воспринимается (и,похоже ,не только мной) как "Поттер и хотел бы контактов с этой семьёй, но они этого не допускали".
Если же имелось в виду , что они не хотели бы видеть Поттера, даже если тот выразит желание повидаться - так и надо писать .Что-то вроде " лишь Поттера в семье не вспоминали - и не хотели бы видеть, даже приди ему в голову попытаться встретиться".Разве нет?