Про маглорожденных вы правы. И после падения Рима мир перестал быть единым. А вот у более-менее чистокровных могло сохраниться какое-то социальное объединение. Особенно если аппарация уже есть. Вполне себе средневековые викинги периодически съезжались на совет порешать вопросы. Что мешает магам делать так же? Визенгамот как-то так и возник.