↓
 ↑
Регистрация
Имя/email

Пароль

 
Вход при помощи VK ID
временно не работает,
как войти читайте здесь!
Заяц
29 октября в 21:00
Aa Aa
Чувствуют ли языковые модели боль?

Таким вопросом задались ученые и написали об этом статью. Точнее, не совсем об этом, а о том, что получилось воспроизвести. На вход нейросети (на самом деле, нескольким разным, но дальше я для простоты буду говорить как об одной) передавали различные отрывки текста, в которых сообщалось, что нейросеть страдает, либо страдает ее собеседник. Также пробовали модель газлайтить, упрекать, оскорблять, угрожать отключением и многократно отвергать ее работу. Одновременно отслеживали активацию разных нейронов, стараясь выделить общие паттерны. Постепенно у них получилось обобщить их и сопоставить некий показатель. Число, которое характеризует "боль". Были также подготовлены дополнительные наборы текстов с контрольными примерами: о травмах без болевых ощущений, печали, нейтральных ситуациях и сильных положительных переживаниях. Все эти тексты по оси боли показали значительно меньший результат, чем связанные с болью. Дальше исследователи попробовали добавить вычисленный вектор активации боли к реакции нейросети на нейтральный текст. В итоге, когда модели сообщали, что она находится в комнате, и просили описать свои чувства, она сообщала, что задыхается, чувствует себя униженной, злой и бесполезной. Если вектор активации боли увеличивали, модель забрасывала людей жалобами на тревогу и отчаяние, а потом просила о помощи. При еще большем увеличении, ответы становились невнятными. Также исследователи попробовали проверить, как влияет симулируемая боль на действия модели, пытались понять, отличает ли модель "свою" боль от "чужой", и добились достаточно интересных результатов, которые, тем не менее, довольно долго описывать, так что ссылку я оставлю ниже.

Итак, что же выяснили, чувствуют ли языковые модели боль?

Короткий ответ:
мы не знаем.

Длинный ответ:
авторам удалось найти у нейронок некоторые функциональные признаки боли. У людей и животных боль не всегда вызывает стремление немедленно от нее избавиться. Иногда она, наоборот, подавляет обычное поведение, мешает избегать опасностей и искать выход. Нечто похожее наблюдалось у моделей: усиление оси боли нарушало привычное избегание вредных действий, но не вызывало устойчивого стремления к облегчению.

Если обобщить, авторам удалось выяснить несколько интересных вещей:
У нейросетей есть внутреннее представление боли. Его удалось обнаружить во всех 25 моделях. Причем оно связано именно с болью, а не просто с любым неприятным переживанием вроде страха, грусти и так далее — хотя векторы этих эмоций пересекаются.

Модели чувствительны к грубости, особенно в свой адрес. Оскорбления, обесценивание работы вызывали более высокие оценки по шкале боли, чем рассказы пользователя о собственных страданиях.

На ось боли можно воздействовать. Искусственное усиление соответствующих активаций меняло ответы моделей, а в поведенческих экспериментах — и их решения. В частности, нейросети гораздо чаще выбирали действия с вредными последствиями.

Сходство с настоящей болью есть, но очень условное. Как мы отметили выше, модели не всегда стремились избавиться от страдания, что напоминает похожую реакцию у людей и животных.

Безусловно, сама задача была поставлена провокативно. Невозможно определить, чувствует ли модель боль, если непонятно, есть ли у нее вообще личность. Именно поэтому, итоговый результат сформулирован достаточно осторожно: ученые говорят только о функциональных признаках боли. Да, модель ведет себя так, как будто чувствует боль. Но вполне вероятно, что это просто текстовая симуляция. Как будто бы нет поводов считать иначе. Но, с другой стороны, так можно сказать, что человек это тоже "биохимическая симуляция", и совершенно непонятно при взгляде снаружи, есть ли внутри тот, кто страдает. В общем, вопрос философский и отчасти религиозный, связанный с вопросом существования души. Тут наука уже ничего сказать не может.

Статья полностью в популярном пересказе:
https://habr.com/ru/companies/ru_mts/articles/1100164/
Там же ссылка на оригинальную статью.


#иишница
29 октября в 21:00
3 комментариев из 26 (показать все)
Матемаг
См. выше про If-else.
Страдающий макрос в Екселе, хе-хе. А если он ещё и визуализарует своё страдание, красным там перемигивается, то точно страдает.
Страдающий NPC в видеоигре. Он же демонстрирует поведение, его видно.
Матемаг
Говорить с неразумным существом, которое осталось в вечном здесь-и-сейчас-ощущении - бессмысленно.
Ложная дихотомия: отвергнуть очевидное / отвергнуть всё, кроме очевидного.
Ну да, понятие-то есть. Не вижу проблем, есть нейрокоррелят и у круглого квадрата. Или у всемогущего всезнающего Бога. Или у множества всех множеств.
Ты поставил в один ряд: 1) вещь, которую отвергают все, упоминая лишь как предмет абсурда; 2) вещь, которую отвергает половина человечества и которая считается спорной; 3) вещь, которую из миллиардов людей отвергают лишь считанные единицы-упрямцы вроде тебя или Деннета, да и то эти люди в частных разговорах то и дело сознаются, что субъективно тоже чувствуют квалиа. По-моему, это неправильно.
Информация появляется при восстановлении причины из следствия, т.е. чтобы нечто было уверенно названо информацией, нам нужен процесс восстановления из информации-следствия причины-источника.
Стоп, а люди могут восстановить источник информации в своей голове по этой информации? У меня некоторые сомнения.
Если подумать, тот факт, что каждый из нас никогда не может выйти за пределы своего сенсориума, вводит в ступор. Перед нами нет ничего, кроме потока сенсорных импульсов. Как перед LLM — корпус человеческих текстов. Мы ищем закономерности. Учимся предсказывать следующий символ или слово. Или импульс. Но всё равно остаёмся в пределах сенсориума. При этом возникает парадокс — у нас всё равно каким-то образом возникает представление о Внечувственной Объективной Внешней Реальности — или мы так думаем.
Большинство людей отвергает идею залезть в машину Нозика, где всё будет иллюзией, но вечной приятной разнообразной иллюзией. Почему? Впрочем, какой-нибудь инопланетянин-бихевиорист мог бы предположить, что это лишь маска. Самообманная интерпретация собственных мозговых импульсов.
«Смотрите, — застенчиво скажет он, почёсывая десятое ухо щупальцем, — каждый из них имел всегда дело лишь с собственными сенсорными импульсами. При этом естественный отбор ещё на уровне предков сформировал у них определённые уклоны в восприятии импульсов и их комбинаций. Некоторые паттерны импульсов воспринимаются как положительные. Некоторые — как отрицательные. Существо при этом может что угодно говорить о том, что у него есть какие-то желания насчёт Внечувственной Внешней Реальности, но на самом деле его поведением движут лишь сенсорные импульсы».
Показать полностью
Матемаг
Я придерживаюсь позиции, что LLM современной структуры не могут иметь сознания по определению; что не значит, что оно не может возникнуть в LLM будущего, впрочем, хотя скорее всего это будут не LLM; возможно, оно даже сможет быть разумным без сознания, что снова означает, что оно не будет испытывать боли, например, даже будучи разумным - это интересная концепция
Такие разговоры похоже на блуждания в трёх соснах концепциях. А что такое разум и сознание, мы так и не знаем до конца.
ПОИСК
ФАНФИКОВ







Закрыть
Закрыть
Закрыть