Хотя я щаз подумал – может это и не напрямую в Волдеморте дело, может там дом был насквозь магический как Нора какая нибудь, и после смерти тех кто его держал своими заклинаниями, просто рассыпался. Вероятно не моментально, но прошедших до визита Гарри лет хватило.