Вообщето когда в 1993 в пабе была беседа о том как выдали Поттеров не было упоминания что дом не видно и никто его не помнит.Флитвик упомянул что если бы не предатель Волдырь мог бы ходить вокруг дома и глядеть в окна и не увидеть Поттеров.
Скорей всего в дом не может войти непосвященный, вот и все.
А что касается невидимого дома 12 то учтите там кроме "Фиделиуса" куча родовой защиты Блэков.Наверное Альбус их совместил.