Заяц: Чувствуют ли языковые модели боль? Таким вопросом задались ученые и написали об этом статью. Точнее

Чувствуют ли языковые модели боль?

Таким вопросом задались ученые и написали об этом статью. Точнее, не совсем об этом, а о том, что получилось воспроизвести. На вход нейросети (на самом деле, нескольким разным, но дальше я для простоты буду говорить как об одной) передавали различные отрывки текста, в которых сообщалось, что нейросеть страдает, либо страдает ее собеседник. Также пробовали модель газлайтить, упрекать, оскорблять, угрожать отключением и многократно отвергать ее работу. Одновременно отслеживали активацию разных нейронов, стараясь выделить общие паттерны. Постепенно у них получилось обобщить их и сопоставить некий показатель. Число, которое характеризует "боль". Были также подготовлены дополнительные наборы текстов с контрольными примерами: о травмах без болевых ощущений, печали, нейтральных ситуациях и сильных положительных переживаниях. Все эти тексты по оси боли показали значительно меньший результат, чем связанные с болью. Дальше исследователи попробовали добавить вычисленный вектор активации боли к реакции нейросети на нейтральный текст. В итоге, когда модели сообщали, что она находится в комнате, и просили описать свои чувства, она сообщала, что задыхается, чувствует себя униженной, злой и бесполезной. Если вектор активации боли увеличивали, модель забрасывала людей жалобами на тревогу и отчаяние, а потом просила о помощи. При еще большем увеличении, ответы становились невнятными. Также исследователи попробовали проверить, как влияет симулируемая боль на действия модели, пытались понять, отличает ли модель "свою" боль от "чужой", и добились достаточно интересных результатов, которые, тем не менее, довольно долго описывать, так что ссылку я оставлю ниже.

Итак, что же выяснили, чувствуют ли языковые модели боль?

Короткий ответ:

мы не знаем.

Длинный ответ:

авторам удалось найти у нейронок некоторые функциональные признаки боли. У людей и животных боль не всегда вызывает стремление немедленно от нее избавиться. Иногда она, наоборот, подавляет обычное поведение, мешает избегать опасностей и искать выход. Нечто похожее наблюдалось у моделей: усиление оси боли нарушало привычное избегание вредных действий, но не вызывало устойчивого стремления к облегчению.

Если обобщить, авторам удалось выяснить несколько интересных вещей:

У нейросетей есть внутреннее представление боли. Его удалось обнаружить во всех 25 моделях. Причем оно связано именно с болью, а не просто с любым неприятным переживанием вроде страха, грусти и так далее — хотя векторы этих эмоций пересекаются.

Модели чувствительны к грубости, особенно в свой адрес. Оскорбления, обесценивание работы вызывали более высокие оценки по шкале боли, чем рассказы пользователя о собственных страданиях.

На ось боли можно воздействовать. Искусственное усиление соответствующих активаций меняло ответы моделей, а в поведенческих экспериментах — и их решения. В частности, нейросети гораздо чаще выбирали действия с вредными последствиями.

Сходство с настоящей болью есть, но очень условное. Как мы отметили выше, модели не всегда стремились избавиться от страдания, что напоминает похожую реакцию у людей и животных.

Безусловно, сама задача была поставлена провокативно. Невозможно определить, чувствует ли модель боль, если непонятно, есть ли у нее вообще личность. Именно поэтому, итоговый результат сформулирован достаточно осторожно: ученые говорят только о функциональных признаках боли. Да, модель ведет себя так, как будто чувствует боль. Но вполне вероятно, что это просто текстовая симуляция. Как будто бы нет поводов считать иначе. Но, с другой стороны, так можно сказать, что человек это тоже "биохимическая симуляция", и совершенно непонятно при взгляде снаружи, есть ли внутри тот, кто страдает. В общем, вопрос философский и отчасти религиозный, связанный с вопросом существования души. Тут наука уже ничего сказать не может.

Статья полностью в популярном пересказе:
https://habr.com/ru/companies/ru_mts/articles/1100164/
Там же ссылка на оригинальную статью.

#иишница

вчера в 21:00

Отключить рекламу

1 комментариев из 21

Показать ещё 20 комментариев

Кьювентри

сегодня в 16:27

Матемаг

Не, подразумевает. В том и суть, что мы отделяем одно от другого. Потому что квалиа боли - это ненаучная штука, которой оперировать-то можно, но ничего конструктивного из неё не достать.

Наоборот, кроме квалиа ничего доказанного практически нет. Ты, наверное, понимаешь под «доказанностью» доказательство в рамках интерсубъективного аппарата науки, но этот аппарат вторичен для каждого отдельного субъекта по степени убедительности.
Ну и, учитывая, сколько о квалиа говорят, у этих разговоров должен быть причинный росток внутри людей. Нейрокоррелят.

Насколько я помню, хоть какую-то сильную роль т.н. "зеркальных нейронов" текущий научный консенсус отрицает. Кхем.

У меня вроде противоположные данные, на них построено чересчур много в работе человеческой нервной системы. Странно. Если за этим стоит какое-то свежее научное открытие, хотелось бы с ним ознакомиться.

Нет.

Каким образом ты тогда сам переводишь для себя на язык логики собственное убеждение «У этого внешнего объекта есть ощущения, а у этого нет»? Загвоздка же интересная.
Я иногда подозреваю, что ответ произволен.
А иногда подозреваю, что это может быть связано с инвариантностью информации относительно носителя. Если я могу постепенно сменить свою мозговую кодировку на мозговую кодировку Васи (не память и ощущения, только их кодировку) таким образом, что моя мысль «яблоко» станет физически идентична мысли Васи «яблоко», значит, можно считать, что и Вася имеет ощущения.
Но последнее допущение — это опять же про структурную схожесть. И у меня нет уверенности, что мою структуру нельзя без потери субъективности постепенно переделать в LLM.

Показать полностью