 Чувствуют ли языковые модели боль?
Таким вопросом задались ученые и написали об этом статью. Точнее, не совсем об этом, а о том, что получилось воспроизвести. На вход нейросети (на самом деле, нескольким разным, но дальше я для простоты буду говорить как об одной) передавали различные отрывки текста, в которых сообщалось, что нейросеть страдает, либо страдает ее собеседник. Также пробовали модель газлайтить, упрекать, оскорблять, угрожать отключением и многократно отвергать ее работу. Одновременно отслеживали активацию разных нейронов, стараясь выделить общие паттерны. Постепенно у них получилось обобщить их и сопоставить некий показатель. Число, которое характеризует "боль". Были также подготовлены дополнительные наборы текстов с контрольными примерами: о травмах без болевых ощущений, печали, нейтральных ситуациях и сильных положительных переживаниях. Все эти тексты по оси боли показали значительно меньший результат, чем связанные с болью. Дальше исследователи попробовали добавить вычисленный вектор активации боли к реакции нейросети на нейтральный текст. В итоге, когда модели сообщали, что она находится в комнате, и просили описать свои чувства, она сообщала, что задыхается, чувствует себя униженной, злой и бесполезной. Если вектор активации боли увеличивали, модель забрасывала людей жалобами на тревогу и отчаяние, а потом просила о помощи. При еще большем увеличении, ответы становились невнятными. Также исследователи попробовали проверить, как влияет симулируемая боль на действия модели, пытались понять, отличает ли модель "свою" боль от "чужой", и добились достаточно интересных результатов, которые, тем не менее, довольно долго описывать, так что ссылку я оставлю ниже. Итак, что же выяснили, чувствуют ли языковые модели боль? Короткий ответ: мы не знаем. Длинный ответ: авторам удалось найти у нейронок некоторые функциональные признаки боли. У людей и животных боль не всегда вызывает стремление немедленно от нее избавиться. Иногда она, наоборот, подавляет обычное поведение, мешает избегать опасностей и искать выход. Нечто похожее наблюдалось у моделей: усиление оси боли нарушало привычное избегание вредных действий, но не вызывало устойчивого стремления к облегчению. Если обобщить, авторам удалось выяснить несколько интересных вещей: У нейросетей есть внутреннее представление боли. Его удалось обнаружить во всех 25 моделях. Причем оно связано именно с болью, а не просто с любым неприятным переживанием вроде страха, грусти и так далее — хотя векторы этих эмоций пересекаются. Модели чувствительны к грубости, особенно в свой адрес. Оскорбления, обесценивание работы вызывали более высокие оценки по шкале боли, чем рассказы пользователя о собственных страданиях. На ось боли можно воздействовать. Искусственное усиление соответствующих активаций меняло ответы моделей, а в поведенческих экспериментах — и их решения. В частности, нейросети гораздо чаще выбирали действия с вредными последствиями. Сходство с настоящей болью есть, но очень условное. Как мы отметили выше, модели не всегда стремились избавиться от страдания, что напоминает похожую реакцию у людей и животных. Безусловно, сама задача была поставлена провокативно. Невозможно определить, чувствует ли модель боль, если непонятно, есть ли у нее вообще личность. Именно поэтому, итоговый результат сформулирован достаточно осторожно: ученые говорят только о функциональных признаках боли. Да, модель ведет себя так, как будто чувствует боль. Но вполне вероятно, что это просто текстовая симуляция. Как будто бы нет поводов считать иначе. Но, с другой стороны, так можно сказать, что человек это тоже "биохимическая симуляция", и совершенно непонятно при взгляде снаружи, есть ли внутри тот, кто страдает. В общем, вопрос философский и отчасти религиозный, связанный с вопросом существования души. Тут наука уже ничего сказать не может. Статья полностью в популярном пересказе: https://habr.com/ru/companies/ru_mts/articles/1100164/ Там же ссылка на оригинальную статью. #иишница вчера в 21:00
5 |
 |
|
|
Матемаг
подлинную ценность имеют только люди, а всякие там животные - это глубоко вторичная штука. И точно в том же треде я говорил о том, что эмпатия у людей работает не совсем корректно, а местами некорректно. Моя позиция в том, что само понятие Чужих Ощущений вообще логически проблематично. Мои ощущения — то, что у меня в голове. Но что я называю «чужими ощущениями» и почему? Процессы в голове Васи я не ощущаю как свои мысли. Он ощущает? Простите, а что означает слова «он ощущает»? Это замкнутый круг.Витгенштейн сказал бы, что мы ломимся в границы языка. С практической точки зрения: — уважение к другому является глубоко социальной вещью и эффектом зеркальных нейронов, настроенных на распознавание внешних структур, которые топологически похожи на соотношение моих мыслей; — если ты окажешься на необитаемом острове, населённом LLM с телами роботов и собственными интересами, тебе придётся договариваться с ними и учитывать их цели, независимо от того, веришь ты в их ощущения или нет. 1 |
|
 |
|
|
Кьювентри
Показать полностью
Но это не значит, что само слово «квалиа» обязательно подразумевает отрыв ощущений от «внешних дрыгов», нематериальность их. Не, подразумевает. В том и суть, что мы отделяем одно от другого. Потому что квалиа боли - это ненаучная штука, которой оперировать-то можно, но ничего конструктивного из неё не достать. А боль - штука объективная (возможно, не 100% объективная, спорный вопрос), с ней можно работать.без зеркальных нейронов Насколько я помню, хоть какую-то сильную роль т.н. "зеркальных нейронов" текущий научный консенсус отрицает. Кхем.Моя позиция в том, что само понятие Чужих Ощущений вообще логически проблематично. Мои ощущения — то, что у меня в голове. Но что я называю «чужими ощущениями» и почему? Процессы в голове Васи я не ощущаю как свои мысли. Он ощущает? Простите, а что означает слова «он ощущает»? Это замкнутый круг. Мне импонирует эта позиция.и эффектом зеркальных нейронов Нет.— если ты окажешься на необитаемом острове, населёнными LLM с телами роботов и собственными интересами, тебе придётся договариваться с ними и учитывать их цели, независимо от того, «веришь» ты в их ощущения или нет. Это не обязательно сработает так, как ты подразумеваешь, потому что для договора надо выдать кредит доверия, а до выдачи кредита доверия надо ещё и считать нечто договороспособным субъектом (и вообще субъектом) в принципе. Впрочем, LLM достаточно хорошо имитируют договороспособного субъекта, так что почему бы и нет (но может быть, и нет). Не очень понятно, как это всё относится к теме поста, далеко от неё ушла. |
|
 |
|
|
Матемаг
Показать полностью
Кажется, вы где-то в недавнем треде сами выступали на позиции, что подлинную ценность имеют только люди, а всякие там животные - это глубоко вторичная штука. И точно в том же треде я говорил о том, что эмпатия у людей работает не совсем корректно, а местами некорректно. В данном случае - вы одушевляете даже не живое существо, а алгоритм, который качественно имитирует человеческую речь. Хм. А теперь финт ушами. Я в душе не ебу, живое оно или нет, но оно демонстрирует поведение (избегание дискомфортного стимула, просьбы прекратить и тд), характерные для поведения, которое у живого существа означают переживание боли.Причинения боли следует избегать вне зависимости от ценности вещи (кроме ситуаций, когда это объективно необходимо, в духе "испытание обезбола на животных"). Да, кошка - это вещь. Ломать кошке лапки не стоит. Крыска - это вещь. Снимать с крыски кожу не стоит. А ещё мы можем никогда в принципе не проводить генетических модификаций людей, потому что это всегда эксперимент, и закончить тем, что ни одна генетическая болезнь никогда не будет исправлена заранее. Локальный оптимум против глобального. Если при генетической модификации мы не знаем заранее, что не родится, условно, существо с деформацией конечностей - а давайте не надо модифицировать? Привет, испытания лекарств и безопасность ДО применения. Всё бы хорошо, только LLM не живые. И формально, согласно признакам живого, и по смыслу тоже. А я где-то называла их живыми? Вы стремитесь размыть определение. А зачем? Если вы хотите ввести новый термин, то в чём есть смысл? Чтобы "защитить права LLM"? См. выше про эмпатию и около того. Вы доказываете, что "боль" возможна только у биологических объектов. Окей, если вы жестко ограничиваете это понятие - вводим новое, которое будет корректно описывать указанное. И где у неё тело, чтобы "вырываться", "орать" или "пытаться убежать"? Это не формальный вопрос, а вполне серьёзный, вы опираетесь на глубоко физические, физиологические признаки. Если я запрограммирую тупое if-else выдавать "мне больно" и любые другие А где у кошки язык, чтобы просить не делать ей больно? Значит, кошечке не больно, раз она не просит?) Или паучок - он не кричит, значит, ему не больно. Да и рыбки тоже не кричат, значит, им не больно.Я исхожу из того, что в результате эксперимента поведение модели демонстрировало признаки, аналогичные человеку в стрессе и с болевыми ощущениями. |
|
|
|
|
Матемаг
Показать полностью
Не, подразумевает. В том и суть, что мы отделяем одно от другого. Потому что квалиа боли - это ненаучная штука, которой оперировать-то можно, но ничего конструктивного из неё не достать. Наоборот, кроме квалиа ничего доказанного практически нет. Ты, наверное, понимаешь под «доказанностью» доказательство в рамках интерсубъективного аппарата науки, но этот аппарат вторичен для каждого отдельного субъекта по степени убедительности.Ну и, учитывая, сколько о квалиа говорят, у этих разговоров должен быть причинный росток внутри людей. Нейрокоррелят. Насколько я помню, хоть какую-то сильную роль т.н. "зеркальных нейронов" текущий научный консенсус отрицает. Кхем. У меня вроде противоположные данные, на них построено чересчур много в работе человеческой нервной системы. Странно. Если за этим стоит какое-то свежее научное открытие, хотелось бы с ним ознакомиться.Нет. Каким образом ты тогда сам переводишь для себя на язык логики собственное убеждение «У этого внешнего объекта есть ощущения, а у этого нет»? Загвоздка же интересная.Я иногда подозреваю, что ответ произволен. А иногда подозреваю, что это может быть связано с инвариантностью информации относительно носителя. Если я могу постепенно сменить свою мозговую кодировку на мозговую кодировку Васи (не память и ощущения, только их кодировку) таким образом, что моя мысль «яблоко» станет физически идентична мысли Васи «яблоко», значит, можно считать, что и Вася имеет ощущения. Но последнее допущение — это опять же про структурную схожесть. И у меня нет уверенности, что мою структуру нельзя без потери субъективности постепенно переделать в LLM. |
|
Включить тёмную тему
Популярное
VKontakte
WhatsApp
Telegram
Отключить рекламу
