Смотря какие гости. В каноне соседи точно знали, ведь Гарри ходил в школу.

А так да, чары можно объяснить АУ. Почти все можно объяснить АУ :) А так версий куча, например, у Дурслей могли быть связи с соцслужбами и они могли заранее знать когда те придут.