Проблема с этим подходом в том, что он эволюционный. А эльфы живут слишком долго, чтобы скоротечные периоды на них действовали в плане отбора. Что такое десять тысяч лет эволюции для вида, заводящего потомство лет так в пятьсот?

Даже если детей они заводят плюс минус в том же возрасте что и люди, а потом живут долго. То и тут долгожительство будет отрицательной чертой отбора вида до построения цивилизации. Потому что старики - это лишний рот. И даже если они вполне дееспособны, долгожительство приводит к тому, что молодежи будет относительно мало, и племя может тупо вымереть из-за бутылочного горлышка.

А если они детей могут заводить в любом возрасте, то у них должны быть жесточайшие методы самоконтроля численности населения. И к моменту создания цивилизации это будет так глубоко зашито в общество, что ой.
Скорее всего право на ребенка там надо будет заслужить, что в обществе долгожителей сделать непросто и не быстро.
И вот там молодая! эльфийка сбегающая! с человеком! и рожающая от него нескольких! детей! - это нажимает на столько кнопок табу, что ой.

Теперь насчёт земледелия: в нашем мире оно побеждает, потому что выгоднее.
Вот если есть магия, то жить в лесу может быть выгоднее, потому что становится дешевле один раз изменить дерево, чтобы оно каждый год картошку на ветвях выращивало, чем постоянно горбатиться в поле.