Так-то оно да, наверняка их в те времена особо друг от друга не отличали.
Я тоже думаю, что Хогвартс там не сразу появился в том варианте, в котором стоит сейчас.