Их дофига. Просто не все сбегают за пределы страны, скажем прямо. В основном они как-то в Хогвартсе борются.
Но более распространен штамп, что его все предали, и пока он не сбежал - запихнули в Азкабан.