hvd, итак, обратимся к канону.
Ollivander (fl. 382 B.C.) was the wizard who arrived at Britain from, apparently, a Mediterranean country, and set up Ollivanders Wand Shop in 382 B.C.. An expert wandmaker, Ollivander sold to ancient British wizards whose wands were crude of construction and unreliable in performance.(с)

Garrick Ollivander believes that his earliest ancestors in England arrived with the Romans, and set up stall (subsequently shop) to sell to ancient British wizards whose wands were crude of construction and unreliable in performance.(с)

The earliest known member of the family, apart from the the original Ollivander who established the wand-making business, is Geraint Ollivander, active in the Middle Ages. (с)

Где здесь сведения про разрушение Византии? Или вы хотите сказать, что человек, по имени Герайнт Олливандер был греком?

Я придерживаюсь мнения, что при противоречии канона и реальности, повторюсь, следует опираться на реальность. Поэтому, например, принять Олливандера-римлянина из 325 до Р.Х. (или, если верить Гаррику, то после, ибо в 325 году до н.э. римлян в Британии не было) я не могу и стал бы его переименовывать.

Кстати, Олливандеры формально есть в священных 28, но это оспаривается, т.к. Гаррик был полукровкой, да и не только он. Канон учить стоит вам)