просто школьное образование деграднуло и всё
в книгах была такая штука, как Шляпы Протего от близнецов Уизли, и там пояснялось, что они популярны у министерских, потому что многие из них не могут скастовать элементарное Протего

и в итоге основная часть населения, которая никуда не ходит, кроме как в Хог, в министерство и друг к другу в гости, не имеет нужды знать сильные заклы и не может их кастовать, хотя потенциал к этому может и присутствовать у большинства, а вот всякие драконоборцы, знатоки магических существ и т.д. знают специализированные под это заклы и охраняют остальное общество от необходимости напрягаться и учить нормальную магию