Без Гермионы они бы туда не попали. Даже в кабак бы не зашли. А Дурсли просто на вокзале тусовались, ждали пока Гарри "заспавнится" в инфополе.

UPD: В такой ситуации маг, который проводит в заколдованную область своего друга маггла, как раз-таки и представляет собой концептуальный мост к невоспринимаемой идее. Как бы вводит его в своё мем-пространство, пересиливая своими (простите) меметическими свойствами антимеметические свойства заклинания.