Возможно, дом Блэков был построен тогда, когда магглов там ещё не было. Напомню, что этот город был существенно меньше, а сейчас вообще разросся до неприличия.