Тащемта, совершенно необязательно, что предки Олливандера, откуда бы они ни были, пришли в Британию в составе чьей-то армии или же переселились, спасаясь от чего-то. Возможен и более прозаичный вариант: там, где проживали Олливандеры, наметился переизбыток палочных дел мастеров на душу магнаселения, вот они и поехали (полетели? поаппарировали?) осваивать новые территории, где не ожидалось особой конкуренции.