Все знали, что Поттеры всегда жили в Годриковой лощине, так же, как все знали, где находится дом Блэков
В 7 части Поттер и Ко из окна постоянно наблюдали за Пожирателями из дома Блэков, потому что фиделиус - это не обдивиэйт, чтобы все забыли, что там был дом. Просто его не видно и в него невозможно войти.
Так что кто угодно итак мог знать, где именно скрываются Поттеры. Хотя это довольно тупо, лучше уж маггловский дом купить в ебенях и его под Фиделиус