Если придерживаться канона, то важно учитывать что Роулинг - англичанка и с её точки зрения всё что находится вне острова - варварские земли с великанами, оборотнями и злыми вошебниками.
Кроме того своё время мелкобритания была крупнейшей в мире империей как по площади так и по влиянию. Даже сейчас после колониальных войн, небольшая британия сохраняет огромную власть и влияние.
А в магическом мире предположительно не было колониальных войн и соответственно британию вполне можно считать наиболее влиятельным магическим государством мира.