Прямо как в ситуации с привратником на чемпионате по квиддичу - ну что мешало тупо усыпить его, поставить на время своего человека, которому не надо каждый раз править мозги, который в курсе, что тут происходит и что с этим делать? А потом один раз по окончании подправить память, раз уж так надо.