По книгам и фильмам мы знаем, что дом стоит среди маггловских домов плотной застройкой. Если там и есть задний двор, то что-то типа питерских двориков.