Вообще, тема ушедшей магии довольно популярна в англоязычной литературе. Начиная с Киплинга того же.
Кстати, много раз слышал, что глубина народной памяти - лет 100. (До всеобщей грамотности и общедоступных учебников истории, понятно) Дед моего деда - предел. Все что было раньше - предмет мифа, где христианские святые причудливо соседствуют с героями античности.
Так что не вижу ничего невозможного в том, чтобы лет за 100 50 волшебники, которые и до того не очень-то афишировали свои способности окончательно канули в сказку.