Дом в одном месте, а с этим "Фиделиусом" на человека надо стирать информацию про энное количество предметов, находящихся в энном числе мест.
Остаётся признать, что Роулинг просто сделала обоснуй "на отвали" и не более, искать логику бесполезно.