В 7 книге есть строчки:
"Гарри не знал, что происходит после смерти людей, на которых было наложено заклятие Доверия".
"Очевидно, заклятие Доверия умерло вместе с Джеймсом и Лили".

Т.е. Хагрид и Дамболдор попали в дом не потому, что Питер их когда-то туда провёл. Фиделиус спал сам уже после исчезновения Лорда. Может быть, когда целостность дома Поттеров была нарушена, - там же 2 этаж снесло:
"правую часть верхнего этажа снесло начисто; Гарри был уверен, что именно там ударило отражённое заклятие"