Действие Феликса тому причиной. Оно действует от силы пару часов. если вспомнить канон - как Гарри добывал воспоминания, там указано, что время действия ограничено.