Как же не потерял? Президент международной конфедерации магов - выборная должность на тот момент. Так что сместить Дамблдора можно было только коллективным решением. Как, скорее всего, и с поста главного чародея Визенгамота. Верхушка общества была недовольна Дамблдором. К Гарри все-таки относились не так серьезно, поэтому на слушании приняли решение в его пользу. Думаю, снять Дамблдора с поста директора было во власти Фаджа, но как раз это он не сделал)