Как-то магглорожденных детей находят. Следовтально, могут найти и их родителей.

К тому же какие-то сведения об адресах в министерстве есть. Первый вопрос на суде:

— Вы — Гарри Джеймс Поттер, проживающий по адресу: графство Суррей, город Литтл-Уингинг, Тисовая улица, дом номер четыре? — спросил Фадж, глядя на Гарри поверх пергамента.

А вот что говорит Боунс:

— Мы не располагаем данными о том, что в Литтл-Уингинге живёт кто-либо из волшебников или волшебниц, кроме Гарри Поттера, — немедленно вмешалась мадам Боунс.

Т.е. что-то об адресах министерство знает.