Но нет же? Он её практически не знал.
Сначала он был у Гаргаленов, потом она была в большом турне по Вестеросу, потом она была замужем. Элия ему довольно чужой человек, это Оберин с ней аки близнец (если не буквально близнец, у них общий год рождения).
Плюс отцы у них разные, только мать общая, это и в каноне где-то было.

А Ливен по крайней мере мог где-то при дворе светиться в его детстве, он в гвардию пошел ради Элии же.