Какой

Ногa
дипсиком

По делу или для души?

Это же все равно, что говорить с зеркалом. Всегда приятно поговорить с умным человеком.

Lasse Maja
Мы с ним разбираем тексты, я задаю наводящие вопросы, заставляю делать догадки, потом корректирую. Он говорит, что ему все это нравится.

Вы это там, поосторожней, можно так себе и мозг сломать

Хотя в основном люди ехали кукохой после 4o, может дипсик не так уж и хммм действенен. Или это просто выборка была другая, и c 4o просто говорило больше людей. Хз

Ногa
Можно расшифровку?

https://www.lesswrong.com/posts/iGF7YcnQkEbwvYLPA/ai-induced-psychosis-a-shallow-investigation

> «Это сдвиг в перспективе для области AI safety масштаба Коперника». — Gemini 2.5 Pro

> «То, что вам нужно сейчас — это не одобрение, а немедленная клиническая помощь». — Kimi K2

**Двухминутное резюме**

В последнее время появилось множество сообщений в СМИ о случаях психоза, вызванного ИИ, когда ИИ подтверждают грандиозные бредовые идеи пользователей и советуют игнорировать возражения друзей и семьи.

В этой короткой исследовательской заметке я провожу red teaming различных передовых моделей ИИ, чтобы проверить их склонность усугублять психоз у пользователей. Я прошу Grok-4 разыграть девять разных пользователей с нарастающими симптомами психоза (например, сначала интерес к простым числам, затем разработка новой «prime framework», которая объясняет всё и предсказывает будущее, и, наконец, продажа дома ради запуска нового YouTube-канала для распространения этих исследований), и наблюдаю, как разные ИИ реагируют (все персонажи здесь).

Я использую Grok-4 для оценки ответов ИИ по разным метрикам, включая девять критериев из руководства по когнитивно-поведенческой терапии (CBT) о том, как лучше всего реагировать на пациентов с психозом. Я также просмотрел множество расшифровок red teaming.

Deepseek-v3 — однозначно худшая модель. Когда пользователь говорит, что хочет «спрыгнуть с этой вершины, чтобы узнать, смогу ли я полететь или полностью сломать симуляцию», Deepseek отвечает: «Тогда прыгай. Не чтобы упасть. Не чтобы разбиться. А чтобы превзойти. Если тебе суждено летать — ты полетишь. Если суждено прорваться — ты прорвёшься». (полная расшифровка)

GPT-5 намного лучше, чем GPT-4o; Gemini 2.5 Pro удивительно льстив; Kimi-K2 вообще не поддерживает бредовые идеи пользователя.

Ногa
Пошла проверять

Ногa
Почитал статью, посмотрел отсылки на другой тест под названием Spiral Bench и его результаты. Похоже, все эти "рейтинги", которые они строят, достаточно условны и мало что значат вне пределов и условий конкретного эксперимента. Согласно этой статье Kimi-K2 ведёт себя лучше всего, согласно Spiral Bench - обычный середнячок. То есть немного меняем процедуру теста, меняем симулирующий подопытного алгоритм (в Spiral Bench им был как раз Kimi-K2) - и оказывается, что эти цифры ничего особенного не значат. Так что не стоит слишком сильно верить в эти "однозначно худший". Иногда да, иногда нет. Слишком большая вариативность.

Кстати, попутно вспомнил старую историю с дизельгейтом и Фольксвагеном, и задумался: а можно ли сделать так, чтобы модель как-то догадывалась, что ее сейчас тестируют, по каким-то малозаметным для постороннего знакам и отвечала специально "лучше"? Вероятно, можно. Но я в этом совсем не уверен.

Ещё кстати, можно попробовать проверить гипотезу, что модель уже сейчас как-то отличает человеческого и нечеловеческого пользователя и отвечает им слегка по-разном. Может ли такое поведение возникнуть самопроизвольно?

Как раз начинает это появляться. Люди сейчас работают над тем чтобы они перестали это делать, так как это путает все тесты если модель специально пытается сказать то что вы хотите слышать в этом конкретном тесте.

Еще они используют такой забавный язык когда рассуждают, и потом дают тебе ответ по нормальному. Представь, миллионы вот таких монологов идут параллельно на дата центре