Интересен асимитричный вариант: женщины фертильны только в молодом возрасте, а мужчины всю жизнь.

Тут возможно установление чего-то типа прайдов львов, когда главный эльф выгоняют всех подросших мальчиков из племени.
Но для долгожителей это генетическая ловушка и тупиковый путь. Разве что долгожительство создано относительно недавно и с помощью магии.
Но я не вижу, как такие эльфы могут создать цивилизацию.

Но вот если у них матриархат, и молодые парни не изгоняются, то возможно построение цивилизации.
Поскольку всё равно конкурентное преимущество имеют мужчины старшего возраста, которых в разы больше, чем фертильных девушек, а отбор производят женщины, то и идти он будет в сторону внешнего вида, умения петь и танцевать, и т.д. Смотрим на певчих тропических птиц, где самец всячески старается привлечь самку красивым оперением и танцем.
Но в таком обществе, где каждая эльфийская девушка окружена сомном из галантных, куртуазных и всячески желающих ей угодить поклонников, шансы у человека минимальны.
А взрослым эльфийкам, которые выезжают в человеческие королевства, и так секс вообще не интересен, а уж с людьми и подавно. Отсюда и ледянная красота. Бедные ничего не понимающие человеческие мужики, им ничего не светит.