Kolerog, а теперь смотрим тот же термин не в попсовом словаре, а в историческом справочнике (или монографии по англосаксонскому праву). И видим, что это хозяйственная единица, на которую завязаны налоги, судопроизводство и прочая. Домик феодала - manor house (замок, крепость, бастида) мог в нее входить. А мог и не входить.
Существующий же в каноне Малфой-манор, на мой взгляд, берет своё начало от привычки викторианских нуворишей называть свои поместья манорами (обычно в форме "тыгыдым-манор"). Таких где-то штук двадцать было на всю Британию, и это считалось жутким кичем и бескультурностью. Эдакий намек для тех, кто в теме.
Вот только фикрайтеры преобразовали это слово в термин, не особо задумываясь о его наполнениии.