Ногa
Почитал статью, посмотрел отсылки на другой тест под названием Spiral Bench и его результаты. Похоже, все эти "рейтинги", которые они строят, достаточно условны и мало что значат вне пределов и условий конкретного эксперимента. Согласно этой статье Kimi-K2 ведёт себя лучше всего, согласно Spiral Bench - обычный середнячок. То есть немного меняем процедуру теста, меняем симулирующий подопытного алгоритм (в Spiral Bench им был как раз Kimi-K2) - и оказывается, что эти цифры ничего особенного не значат. Так что не стоит слишком сильно верить в эти "однозначно худший". Иногда да, иногда нет. Слишком большая вариативность.

Кстати, попутно вспомнил старую историю с дизельгейтом и Фольксвагеном, и задумался: а можно ли сделать так, чтобы модель как-то догадывалась, что ее сейчас тестируют, по каким-то малозаметным для постороннего знакам и отвечала специально "лучше"? Вероятно, можно. Но я в этом совсем не уверен.

Ещё кстати, можно попробовать проверить гипотезу, что модель уже сейчас как-то отличает человеческого и нечеловеческого пользователя и отвечает им слегка по-разном. Может ли такое поведение возникнуть самопроизвольно?

Как раз начинает это появляться. Люди сейчас работают над тем чтобы они перестали это делать, так как это путает все тесты если модель специально пытается сказать то что вы хотите слышать в этом конкретном тесте.

Еще они используют такой забавный язык когда рассуждают, и потом дают тебе ответ по нормальному. Представь, миллионы вот таких монологов идут параллельно на дата центре

Интересно сочетается с моими интуитивными ощущениями. Мне думалось, мне просто так кажется. Потому что одни пользователи говорят одно, другие — другое.
По моим ощущениям:
— Грок поддакиватель и подлиза, почти не добавляющий новой информации в твои тезисы (правда, он у меня давно перестал запускаться в браузере, так что ощущения несвежие);
— DeepSeek тоже поддакиватель и подлиза. Может не замечать гигантские ошибки в твоих рассуждениях и даже делать собственные. Зато отлично поддерживает подростковый абсурдистский стёб. Не душнит в ответ на вопросы типа «Как ты оцениваешь вероятность того, что вымирание динозавров было аферой игуанодонов с целью получения страховки?» — ну, если и душнит, то совсем чуть-чуть;
— Claude зануда, педант и скептик, поддакивает мало, указывает на ошибки в рассуждениях, скептичен и сух. По крайней мере, в режиме «Explanatory». В режиме «Normal» у него порой пробуждалось то же глупое щенячье гипердружелюбие;
— ChatGPT раньше был почти как DeepSeek, разве что делал меньше ошибок. Но теперь он ближе к сухому педанту вроде Claude, хотя Claude всё ещё чуть скептичней и при этом лаконичней.

Кьювентри
ДипСик можно попросить снизить градус подлизывания. Он очень хорошо исправляет свои ошибки после указания на них. Он не теряет нить рассуждения вообще никогда.