Для меня тоже коннотация скорее отрицательная, а ещё ироническая: мол, вот как этот человек себя холит и лелеет, ахаха. Если, конечно, речь не идёт о животном. Холёная лошадь благородных кровей...