Виктор Некрам, рассуждая об античности, всегда нужно помнить, что мы говорим о магах. И не всё, что применимо к магглам, будет применимо и к ним. Тут вот какая запятая: у магов было значительно меньше ограничений в передвижениях по земному шарику. И если предположить, что хоть один родственник (или и вовсе друг) семьи к тому времени уже находился в Британии, то организовать портал - раз плюнуть. Олливандерам было совершенно необязательно сразу же переезжать безвозвратно, как это пришлось бы сделать магглам. Они могли наведаться пару раз, помотаться туда-обратно, а потом уже принимать решение. Магглам, конечно, в этой ситуации было бы банально страшно: поди решись мигрировать в Тьмутаракань, которую ни разу не видел и о которой знаешь только название. Тут необходимы ну очччень веские причины вроде той же войны. Для магов же всё могло быть намного проще, и теоретически Олливандеры имели возможность отрыть магазин где угодно - хоть в Америке (кстати, кто-то из магов запросто мог её узреть ещё и до Колумба и даже до предполагаемых викингов).