Он обещал чуваку отпустить его на все четыре стороны, хоть в Мордор. Это немного другое обещание:

– Тебе, наверно, из окон видно, зачем покидать Ортханк, – отозвался Гэндальф. – Вдобавок сам подумай: твои орды перебиты и рассеяны, соседям ты стал врагом, своего теперешнего хозяина обманул или пытался обмануть, и, когда его взор сюда обратится, это будет испепеляющий взор. А "свободен" – у меня значит ничем не связан: ни узами, ни клятвой, ни зароком. Ступай, куда знаешь, даже… даже, если угодно, в Мордор. С одним условием: ты отдашь мне ключ от Ортханка и свой жезл. После ты их получишь обратно, если заслужишь; они берутся в залог.