Нейтральное.
Холёный – просто "очень ухоженный".
Да, это может быть ироничным оборотом: эдакий старинный ответ выражениям типа "метросексуал".
Но ничего специфического.

Разве что "холёный" почему-то интуитивно воспринимается как слегка упитанный и совсем без крепких мышц.
В женском варианте тоже.

Такой тип фигуры с картины Брюллова "Итальянский полдень".

Если некто "холёный", то движения непременно "вальяжные", а в глазах людей попроще он/она так и вообще "лосный".

А!!!
Всё, поняла, откуда может быть негатив.
Холёный - это не тот, кто сам за собой хорошо ухаживает.
Это тот, которого ДРУГИЕ "холят и лелеют".
То есть за этим стоит штат то ли слуг, то ли рабов, то ли гиперопекающих родственников, но сам объект даже ногти подпилить не сумеет.