Насчёт этого есть пара строк в "Неоконченных сказаниях":

"For they came from over the Sea out of the Uttermost West; though this was for long known only to Círdan, Guardian of the Third Ring, master of the Grey Havens, who saw their landings upon the western shores".
"Ибо они [волшебники] пришли из-за моря, с Крайнего Запада; хотя долгое время об этом знал только Кирдан, Страж Третьего Кольца, повелитель Серых Гаваней, который видел их высадку на западных берегах".

То есть, видимо, предполагается, что они приехали в Средиземье на кораблях, как обычные люди.