Daylis Dervent , правильно, они заметили, что из ниоткуда вдругъ появился дом, разваленный, уже после фиделиуса.
А до того не факт, что они его видели - Гарри же на игрушечной метле вон летал. Это едва ли можно в обычном видимом доме, мимо окон же люди ходят.