Заяц: Чувствуют ли языковые модели боль? Таким вопросом задались ученые и написали об этом статью. Точнее

Чувствуют ли языковые модели боль?

Таким вопросом задались ученые и написали об этом статью. Точнее, не совсем об этом, а о том, что получилось воспроизвести. На вход нейросети (на самом деле, нескольким разным, но дальше я для простоты буду говорить как об одной) передавали различные отрывки текста, в которых сообщалось, что нейросеть страдает, либо страдает ее собеседник. Также пробовали модель газлайтить, упрекать, оскорблять, угрожать отключением и многократно отвергать ее работу. Одновременно отслеживали активацию разных нейронов, стараясь выделить общие паттерны. Постепенно у них получилось обобщить их и сопоставить некий показатель. Число, которое характеризует "боль". Были также подготовлены дополнительные наборы текстов с контрольными примерами: о травмах без болевых ощущений, печали, нейтральных ситуациях и сильных положительных переживаниях. Все эти тексты по оси боли показали значительно меньший результат, чем связанные с болью. Дальше исследователи попробовали добавить вычисленный вектор активации боли к реакции нейросети на нейтральный текст. В итоге, когда модели сообщали, что она находится в комнате, и просили описать свои чувства, она сообщала, что задыхается, чувствует себя униженной, злой и бесполезной. Если вектор активации боли увеличивали, модель забрасывала людей жалобами на тревогу и отчаяние, а потом просила о помощи. При еще большем увеличении, ответы становились невнятными. Также исследователи попробовали проверить, как влияет симулируемая боль на действия модели, пытались понять, отличает ли модель "свою" боль от "чужой", и добились достаточно интересных результатов, которые, тем не менее, довольно долго описывать, так что ссылку я оставлю ниже.

Итак, что же выяснили, чувствуют ли языковые модели боль?

Короткий ответ:

мы не знаем.

Длинный ответ:

авторам удалось найти у нейронок некоторые функциональные признаки боли. У людей и животных боль не всегда вызывает стремление немедленно от нее избавиться. Иногда она, наоборот, подавляет обычное поведение, мешает избегать опасностей и искать выход. Нечто похожее наблюдалось у моделей: усиление оси боли нарушало привычное избегание вредных действий, но не вызывало устойчивого стремления к облегчению.

Если обобщить, авторам удалось выяснить несколько интересных вещей:

У нейросетей есть внутреннее представление боли. Его удалось обнаружить во всех 25 моделях. Причем оно связано именно с болью, а не просто с любым неприятным переживанием вроде страха, грусти и так далее — хотя векторы этих эмоций пересекаются.

Модели чувствительны к грубости, особенно в свой адрес. Оскорбления, обесценивание работы вызывали более высокие оценки по шкале боли, чем рассказы пользователя о собственных страданиях.

На ось боли можно воздействовать. Искусственное усиление соответствующих активаций меняло ответы моделей, а в поведенческих экспериментах — и их решения. В частности, нейросети гораздо чаще выбирали действия с вредными последствиями.

Сходство с настоящей болью есть, но очень условное. Как мы отметили выше, модели не всегда стремились избавиться от страдания, что напоминает похожую реакцию у людей и животных.

Безусловно, сама задача была поставлена провокативно. Невозможно определить, чувствует ли модель боль, если непонятно, есть ли у нее вообще личность. Именно поэтому, итоговый результат сформулирован достаточно осторожно: ученые говорят только о функциональных признаках боли. Да, модель ведет себя так, как будто чувствует боль. Но вполне вероятно, что это просто текстовая симуляция. Как будто бы нет поводов считать иначе. Но, с другой стороны, так можно сказать, что человек это тоже "биохимическая симуляция", и совершенно непонятно при взгляде снаружи, есть ли внутри тот, кто страдает. В общем, вопрос философский и отчасти религиозный, связанный с вопросом существования души. Тут наука уже ничего сказать не может.

Статья полностью в популярном пересказе:
https://habr.com/ru/companies/ru_mts/articles/1100164/
Там же ссылка на оригинальную статью.

#иишница

вчера в 21:00

Отключить рекламу

6 комментариев из 21

Показать ещё 15 комментариев

Матемаг

сегодня в 16:00

Serryta
...я правильно понимаю, вы LLM живыми считаете? Как минимум. Так?

Следовательно, мы не можем утверждать, что нейросеть НЕ испытывает боль.

Ну снова то же самое. Мы не может доказать, что кто угодно испытывает что угодно или не испытывает что угодно. Это достаточно фундаментальное ограничение. Если сильно хочется, можно постулировать, что кварк непрерывно испытывает боль или электрон, чего б и нет-то?

Мы можем сделать вывод, что сложная структура показывает признаки, характерные для испытывающего боль биологического субъекта, и остановить эксперимент до тех пор, пока не будет доказано, что нейросеть НЕ испытывает боль (или аналогичное ощущение).

А ещё мы можем никогда в принципе не проводить генетических модификаций людей, потому что это всегда эксперимент, и закончить тем, что ни одна генетическая болезнь никогда не будет исправлена заранее. Локальный оптимум против глобального.

Вопрос не в том, "точно ли это то же самое чувство, что и в биологическом объекте", а в "является ли это аналогичным по своей силе изменением системы".

Вы никогда не найдёте более сильное изменение системы, нежели превращение одной элементарной частицы в другую. Значит ли это, что элементарные частицы испытывают невероятную боль или типа того? В общем, такое.

Я не знаю, как устроена "нервная система" ЛЛМки, но я вижу, что она демонстрирует тот же признак, что и три существа выше.

Правда, что ли? И где у неё тело, чтобы "вырываться", "орать" или "пытаться убежать"? Это не формальный вопрос, а вполне серьёзный, вы опираетесь на глубоко физические, физиологические признаки. Если я запрограммирую тупое if-else выдавать "мне больно" и любые другие "убеждающие" слова в ответ на определённый раздражитель, вы тоже это будете интерпретировать как боль?

Включая существ, бытие которых мы не можем осознать полноценно, так как мы в целом ориентируемся ТОЛЬКО на живых существ, поскольку только с такими и сталкиваемся как вид

Всё бы хорошо, только LLM не живые. И формально, согласно признакам живого, и по смыслу тоже. Кажется, вы где-то в недавнем треде сами выступали на позиции, что подлинную ценность имеют только люди, а всякие там животные - это глубоко вторичная штука. И точно в том же треде я говорил о том, что эмпатия у людей работает не совсем корректно, а местами некорректно. В данном случае - вы одушевляете даже не живое существо, а алгоритм, который качественно имитирует человеческую речь. Хм.

Но здесь возникает вопрос: почему мы считаем, что эти критерии универсальны и применимы к любой потенциально способной испытывать боль системе? Или вы ограничиваете само понятие "боль" исключительно биологической системой? Если да, можно ввести любой другой термин, который будет более общим, нежели "боль".

Вы стремитесь размыть определение. А зачем? Если вы хотите ввести новый термин, то в чём есть смысл? Чтобы "защитить права LLM"? См. выше про эмпатию и около того.

Но отсутствие известных нам биологических механизмов ещё не является доказательством отсутствия самого переживания.

Квалиа работает так, что при желании можно интерпретировать как боль едва ли не что угодно. Давайте пострадаем, как больно электронам, когда в них врезаются фотоны.

Показать полностью

Кьювентри

сегодня в 16:00

Матемаг

Вот, кстати, не возьмусь говорить, кто может чувствовать боль, а кто нет. Не нейробиолог я.

Насколько мне известно, нейробиологи тоже не знают. Если не брать экстремальные примеры вроде булыжников из мостовой.

Квалиа тут не причём. Боль - это вполне себе объективная, научная штука.

Ощущения существуют.
«Квалиа» — синоним «ощущения», используемый вместо старого слова, чтобы подчеркнуть, что нас интересует субъективная сторона, а не только внешние дрыги. Но это не значит, что само слово «квалиа» обязательно подразумевает отрыв ощущений от «внешних дрыгов», нематериальность их.

Особенно с учётом того, что LLM в принципе так устроены, чтобы _копировать_поведение_.

А люди? Есть ли вообще доказательство, что без зеркальных нейронов и человеческой культуры отдельный человек будет говорить о философских странностях ощущений?

Кьювентри

сегодня в 16:04

Матемаг

подлинную ценность имеют только люди, а всякие там животные - это глубоко вторичная штука. И точно в том же треде я говорил о том, что эмпатия у людей работает не совсем корректно, а местами некорректно.

Моя позиция в том, что само понятие Чужих Ощущений вообще логически проблематично. Мои ощущения — то, что у меня в голове. Но что я называю «чужими ощущениями» и почему? Процессы в голове Васи я не ощущаю как свои мысли. Он ощущает? Простите, а что означает слова «он ощущает»? Это замкнутый круг.
Витгенштейн сказал бы, что мы ломимся в границы языка.
С практической точки зрения:
— уважение к другому является глубоко социальной вещью и эффектом зеркальных нейронов, настроенных на распознавание внешних структур, которые топологически похожи на соотношение моих мыслей;
— если ты окажешься на необитаемом острове, населённом LLM с телами роботов и собственными интересами, тебе придётся договариваться с ними и учитывать их цели, независимо от того, веришь ты в их ощущения или нет.

Матемаг

сегодня в 16:11

Кьювентри

Но это не значит, что само слово «квалиа» обязательно подразумевает отрыв ощущений от «внешних дрыгов», нематериальность их.

Не, подразумевает. В том и суть, что мы отделяем одно от другого. Потому что квалиа боли - это ненаучная штука, которой оперировать-то можно, но ничего конструктивного из неё не достать. А боль - штука объективная (возможно, не 100% объективная, спорный вопрос), с ней можно работать.

без зеркальных нейронов

Насколько я помню, хоть какую-то сильную роль т.н. "зеркальных нейронов" текущий научный консенсус отрицает. Кхем.

Мне импонирует эта позиция.

и эффектом зеркальных нейронов

Нет.

— если ты окажешься на необитаемом острове, населёнными LLM с телами роботов и собственными интересами, тебе придётся договариваться с ними и учитывать их цели, независимо от того, «веришь» ты в их ощущения или нет.

Это не обязательно сработает так, как ты подразумеваешь, потому что для договора надо выдать кредит доверия, а до выдачи кредита доверия надо ещё и считать нечто договороспособным субъектом (и вообще субъектом) в принципе. Впрочем, LLM достаточно хорошо имитируют договороспособного субъекта, так что почему бы и нет (но может быть, и нет). Не очень понятно, как это всё относится к теме поста, далеко от неё ушла.

Показать полностью

Serryta

сегодня в 16:19

Матемаг

Кажется, вы где-то в недавнем треде сами выступали на позиции, что подлинную ценность имеют только люди, а всякие там животные - это глубоко вторичная штука. И точно в том же треде я говорил о том, что эмпатия у людей работает не совсем корректно, а местами некорректно. В данном случае - вы одушевляете даже не живое существо, а алгоритм, который качественно имитирует человеческую речь. Хм.

А теперь финт ушами. Я в душе не ебу, живое оно или нет, но оно демонстрирует поведение (избегание дискомфортного стимула, просьбы прекратить и тд), характерные для поведения, которое у живого существа означают переживание боли.
Причинения боли следует избегать вне зависимости от ценности вещи (кроме ситуаций, когда это объективно необходимо, в духе "испытание обезбола на животных"). Да, кошка - это вещь. Ломать кошке лапки не стоит. Крыска - это вещь. Снимать с крыски кожу не стоит.

Если при генетической модификации мы не знаем заранее, что не родится, условно, существо с деформацией конечностей - а давайте не надо модифицировать? Привет, испытания лекарств и безопасность ДО применения.

Всё бы хорошо, только LLM не живые. И формально, согласно признакам живого, и по смыслу тоже.

А я где-то называла их живыми?

Вы доказываете, что "боль" возможна только у биологических объектов. Окей, если вы жестко ограничиваете это понятие - вводим новое, которое будет корректно описывать указанное.

И где у неё тело, чтобы "вырываться", "орать" или "пытаться убежать"? Это не формальный вопрос, а вполне серьёзный, вы опираетесь на глубоко физические, физиологические признаки. Если я запрограммирую тупое if-else выдавать "мне больно" и любые другие

А где у кошки язык, чтобы просить не делать ей больно? Значит, кошечке не больно, раз она не просит?) Или паучок - он не кричит, значит, ему не больно. Да и рыбки тоже не кричат, значит, им не больно.
Я исхожу из того, что в результате эксперимента поведение модели демонстрировало признаки, аналогичные человеку в стрессе и с болевыми ощущениями.

Показать полностью

Кьювентри

сегодня в 16:27

Матемаг

Наоборот, кроме квалиа ничего доказанного практически нет. Ты, наверное, понимаешь под «доказанностью» доказательство в рамках интерсубъективного аппарата науки, но этот аппарат вторичен для каждого отдельного субъекта по степени убедительности.
Ну и, учитывая, сколько о квалиа говорят, у этих разговоров должен быть причинный росток внутри людей. Нейрокоррелят.

У меня вроде противоположные данные, на них построено чересчур много в работе человеческой нервной системы. Странно. Если за этим стоит какое-то свежее научное открытие, хотелось бы с ним ознакомиться.

Нет.

Каким образом ты тогда сам переводишь для себя на язык логики собственное убеждение «У этого внешнего объекта есть ощущения, а у этого нет»? Загвоздка же интересная.
Я иногда подозреваю, что ответ произволен.
А иногда подозреваю, что это может быть связано с инвариантностью информации относительно носителя. Если я могу постепенно сменить свою мозговую кодировку на мозговую кодировку Васи (не память и ощущения, только их кодировку) таким образом, что моя мысль «яблоко» станет физически идентична мысли Васи «яблоко», значит, можно считать, что и Вася имеет ощущения.
Но последнее допущение — это опять же про структурную схожесть. И у меня нет уверенности, что мою структуру нельзя без потери субъективности постепенно переделать в LLM.

Показать полностью