Фиделиус рухнул, когда Хвост предал Поттеров и провел в дом Волдеморта. Все остальные спокойно попадали в него, не потому, что дом разрушился, и вследствие этого "слетел" Фиделиус, а потому что Фиделиуса уже не было, когда в дом вошел Волдеморт. Даже если бы беспокойная душа Волдеморта не разворотила, улетая, полдома,а аккуратно просочилась бы в форточку, дом все равно уже не был бы защищен, и в него могли бы заходить все желающие.