А может, дом где жили Поттеры было не родовое поместье как у Блэков? Всё таки помните, Поттеры в то время главная мишень была, не считая Долгопупсов, наверняка им приходилось срочно менять дома. Вот и сфейлились в 1 из домов где решили довольно долго отсидеться.
А Блэки темный род, маглоненавистники, довольно много там их было, а Грим 13 как раз где почти все Блэки проживали свою юность, что-то типо такого, так что их то дом и был хорошо защищен, а Дамби лишь внёс свою небольшую лепту.