Эм, а причем тут штаны Арагорна?
Бильбо (еще до Фродо) встречает Гэндальфа именно этой фразой.


Т.е.
а) он может опознать Гэндальфа по имени (это не четвертая эпоха, когда Верзил в Шире забанили нахрен, сейчас людей по Ширу таскается еще довольно много)
б) он вспоминает этот факт о нем практически сразу, между фейерверками и его возрастом.

Мы, конечно, еще и знаем, что Бильбо - хоббит по кругу интересов непростой, так что сплетни о Гэндальфе мог и собирать намеренно, так что не факт, что так Гэндальфа воспринимают все жители Шира - но тем не менее, сманенных набралось на many lads and lasses, и этот факт не особо скрывался.

Так что да, они просто не поименованы.

Другое дело, что из контекста совершенно не следует, что их уводил именно Гэндальф: он просто пилил кулстори про сверкающих на солнце вампиров и горячих ректоров магических академий драконов и эльфов, а хоббиты уже уходили и сами.