Так войны же с Сауроном и не одна.
Плюс вторжения кочевников, чума, междоусобицы... Где-то там и закончились цветные хоббиты, люди и эльфы
По Мории ещё и барлог прошел я потом.
Ещё эволюция, за три тысячелетия популяция может несколько посветлеть/потемнеть, в зависимости от широты