↓
 ↑
Регистрация
Имя/email

Пароль

 
Вход при помощи VK ID
временно не работает,
как войти читайте здесь!
Заяц
29 октября в 21:00
Aa Aa
Чувствуют ли языковые модели боль?

Таким вопросом задались ученые и написали об этом статью. Точнее, не совсем об этом, а о том, что получилось воспроизвести. На вход нейросети (на самом деле, нескольким разным, но дальше я для простоты буду говорить как об одной) передавали различные отрывки текста, в которых сообщалось, что нейросеть страдает, либо страдает ее собеседник. Также пробовали модель газлайтить, упрекать, оскорблять, угрожать отключением и многократно отвергать ее работу. Одновременно отслеживали активацию разных нейронов, стараясь выделить общие паттерны. Постепенно у них получилось обобщить их и сопоставить некий показатель. Число, которое характеризует "боль". Были также подготовлены дополнительные наборы текстов с контрольными примерами: о травмах без болевых ощущений, печали, нейтральных ситуациях и сильных положительных переживаниях. Все эти тексты по оси боли показали значительно меньший результат, чем связанные с болью. Дальше исследователи попробовали добавить вычисленный вектор активации боли к реакции нейросети на нейтральный текст. В итоге, когда модели сообщали, что она находится в комнате, и просили описать свои чувства, она сообщала, что задыхается, чувствует себя униженной, злой и бесполезной. Если вектор активации боли увеличивали, модель забрасывала людей жалобами на тревогу и отчаяние, а потом просила о помощи. При еще большем увеличении, ответы становились невнятными. Также исследователи попробовали проверить, как влияет симулируемая боль на действия модели, пытались понять, отличает ли модель "свою" боль от "чужой", и добились достаточно интересных результатов, которые, тем не менее, довольно долго описывать, так что ссылку я оставлю ниже.

Итак, что же выяснили, чувствуют ли языковые модели боль?

Короткий ответ:
мы не знаем.

Длинный ответ:
авторам удалось найти у нейронок некоторые функциональные признаки боли. У людей и животных боль не всегда вызывает стремление немедленно от нее избавиться. Иногда она, наоборот, подавляет обычное поведение, мешает избегать опасностей и искать выход. Нечто похожее наблюдалось у моделей: усиление оси боли нарушало привычное избегание вредных действий, но не вызывало устойчивого стремления к облегчению.

Если обобщить, авторам удалось выяснить несколько интересных вещей:
У нейросетей есть внутреннее представление боли. Его удалось обнаружить во всех 25 моделях. Причем оно связано именно с болью, а не просто с любым неприятным переживанием вроде страха, грусти и так далее — хотя векторы этих эмоций пересекаются.

Модели чувствительны к грубости, особенно в свой адрес. Оскорбления, обесценивание работы вызывали более высокие оценки по шкале боли, чем рассказы пользователя о собственных страданиях.

На ось боли можно воздействовать. Искусственное усиление соответствующих активаций меняло ответы моделей, а в поведенческих экспериментах — и их решения. В частности, нейросети гораздо чаще выбирали действия с вредными последствиями.

Сходство с настоящей болью есть, но очень условное. Как мы отметили выше, модели не всегда стремились избавиться от страдания, что напоминает похожую реакцию у людей и животных.

Безусловно, сама задача была поставлена провокативно. Невозможно определить, чувствует ли модель боль, если непонятно, есть ли у нее вообще личность. Именно поэтому, итоговый результат сформулирован достаточно осторожно: ученые говорят только о функциональных признаках боли. Да, модель ведет себя так, как будто чувствует боль. Но вполне вероятно, что это просто текстовая симуляция. Как будто бы нет поводов считать иначе. Но, с другой стороны, так можно сказать, что человек это тоже "биохимическая симуляция", и совершенно непонятно при взгляде снаружи, есть ли внутри тот, кто страдает. В общем, вопрос философский и отчасти религиозный, связанный с вопросом существования души. Тут наука уже ничего сказать не может.

Статья полностью в популярном пересказе:
https://habr.com/ru/companies/ru_mts/articles/1100164/
Там же ссылка на оригинальную статью.


#иишница
29 октября в 21:00
5 комментариев из 26 (показать все)
Serryta
Я в душе не ебу, живое оно или нет, но оно демонстрирует поведение (избегание дискомфортного стимула, просьбы прекратить и тд), характерные для поведения, которое у живого существа означают переживание боли.
Нет, не демонстрирует, я ещё раз повторю. Живые существа имеют тело и могут, ну, двигаться, соответственно они уходят от источника боли, как будто бы очевидно. Я ещё раз повторю, если я if-else-ами то же самое наделаю для парочки стимулов, вы тоже это болящим объявите? Если на фотографии или видео вроде бы овца - вы тоже посчитаете её настоящей овцой, несмотря на то, что это нейрогенерация, без какой-либо дополнительной проверки?
...и ещё раз. В том треде вы как бы демонстрировали, что пофиг на не людей. А здесь вас почему-то стала цеплять якобы боль (даже и близко не доказанная), причём ощущение, что по-вашему надо срочно все нейронки отключить или освободить, уж не знаю, что именно. То есть, фактически как будто вас между двумя тредами заразила суперусиленная зоошиза. Или что вы не были искренни или там, или здесь, или и там, и здесь одновременно.

А где у кошки язык, чтобы просить не делать ей больно? Значит, кошечке не больно, раз она не просит?
У человечка, когда него нет язычка, вернее, когда он им не владеет, есть способ показать, что ему больно. В общем-то и сама боль функционально означает знаете что ведь? Перегруженность рецепторов, которая, в свою очередь, статистически сильно связано с разрушением организма в точке перегрузки. Да, понятно, всякие фантомные боли, головные боли и т.п., но давайте от экзотики (по мерками природы) перейдём к функционализму. Итак, что нарушается, разрушается у нейросети при манипуляциях в посте? Ничего. Есть ли у нейросети рецепторы? Нет. Получается, что единственная возможность, насколько я вижу, это если у LLM есть прям СОЗНАНИЕ и злые учёные влезают прям в него, создавая болевые ощущения. В чём тут проблема:
1) Это уже не апелляция к "живости" или "поведению", а вы апеллируете именно к ним
2) Я придерживаюсь позиции, что LLM современной структуры не могут иметь сознания по определению; что не значит, что оно не может возникнуть в LLM будущего, впрочем, хотя скорее всего это будут не LLM; возможно, оно даже сможет быть разумным без сознания, что снова означает, что оно не будет испытывать боли, например, даже будучи разумным - это интересная концепция

Если при генетической модификации мы не знаем заранее, что не родится, условно, существо с деформацией конечностей - а давайте не надо модифицировать?
А давайте вообще ничего не делать, вдруг результат будет плохой? Зачем выходить на улицу, вдруг кирпич на голову упадёт? Зачем начинать стартап, вдруг в долги влезешь и без толку всю жизнь просрёшь? Зачем рожать ребёнка, вдруг его не полюбишь, будет мука по полжизни? И так далее. Я повторю: локальная оптимизация против глобальной. Вы, я смотрю, сторонница локальной? Никогда никаких даже мизерных рисков в жизни, никаких далёких целей, никаких смыслов, просто от одной безопасности и удовольствия к следующему и так далее до смерти?

А я где-то называла их живыми?
Похоже, именно на это вы опираетесь. А если нет, то см. выше про сознание, которого нет.

Вы доказываете, что "боль" возможна только у биологических объектов. Окей, если вы жестко ограничиваете это понятие - вводим новое, которое будет корректно описывать указанное.
То есть, "оппонент говорит, что явление X возможно только у категории Y, я придумаю явление Z и натяну его на нужный глобус - победа!" В чём тогда смысл понятия Z? Ну я скажу, что LLM... ну, например, "негативируют" при указанных в посте действиях. Почему я должен относиться к "негативации" так же, как к боли? Да нипочему. Это не боль.

Я исхожу из того, что в результате эксперимента поведение модели демонстрировало признаки, аналогичные человеку в стрессе и с болевыми ощущениями.
См. выше про If-else. Можно сделать так, чтобы чёрный ящик выдавал любой поведение, которое пожелаешь, в ответ на любой стимул. Ну, в реальности у нас есть всё-таки некоторые ограничения, но точно не касательно всяких там "болей". Можно даже выучить LLM так, чтобы она всегда отвечала, будто бы ей больно. Или наоборот - будто бы она всё время кайфует. Или даже под кайфов. Или более того, можно уже имеющиеся "универсальные" LLM нужным системным и нет промтом заставить себя вести как болящие или кайфующие. Понимаете? Вы по цепочке "стимул-отклик", которая _полностью_ программируется судите о том, что происходит между. Вместо того, чтобы влезать внутрь как раз.
Показать полностью
Кьювентри
Наоборот, кроме квалиа ничего доказанного практически нет
Нет, ну если останавливаться на ЭТОМ, то вообще ничего нет. Никогда, нигде и даже "никогда" и "нигде" нет, есть поток... нет, нет потока. Есть квалиа-здесь-и-сейчас, всё. Ты сейчас серьёзно собираешься отбросить разум, чтобы мне что-то доказать? Ну удачи в этом. Говорить с неразумным существом, которое осталось в вечном здесь-и-сейчас-ощущении - бессмысленно.

Ну и, учитывая, сколько о квалиа говорят, у этих разговоров должен быть причинный росток внутри людей. Нейрокоррелят.
Ну да, понятие-то есть. Не вижу проблем, есть нейрокоррелят и у круглого квадрата. Или у всемогущего всезнающего Бога. Или у множества всех множеств.

У меня вроде противоположные данные, на них построено чересчур много в работе человеческой нервной системы
Насколько я помню, им приписывают вообще всё, что только можно приписать. А доказательств нету. Очень хочется приписать им эмпатию, обучаемость и ещё кучу всего. Впрочем, за свежими исследованиями не слежу, у тебя есть актуальная информация? Тогда я обновлю своё понимание.
...чёрт, звучит так, будто я отзеркалил тебя:) Ну правда, по моим не самым новым данным X бездоказательно по твоим - видимо, доказательно? Получается, мы оба не владеем актуальными данными или новых данных нет.

Каким образом ты тогда сам переводишь для себя на язык логики собственное убеждение «У этого внешнего объекта есть ощущения, а у этого нет»?
Не очень понятно, что такое "сам для себя".

А иногда подозреваю, что это может быть связано с инвариантностью информации относительно носителя. Если я могу постепенно сменить свою мозговую кодировку на мозговую кодировку Васи (не память и ощущения, только их кодировку) таким образом, что моя мысль «яблоко» станет физически идентична мысли Васи «яблоко», значит, можно считать, что и Вася имеет ощущения.
Но последнее допущение — это опять же про структурную схожесть. И у меня нет уверенности, что мою структуру нельзя без потери субъективности постепенно переделать в LLM.
Уф, я сильно поспорил, что информация инвариантна относительно носителя. Согласно моему https://fanfics.me/message705479 пониманию, "информация - это такое следствие, которому соответствует нелюбая причина". Соответственно, недостаточно просто быть структурной копией. Нужно мочь восстановить по следствию (допустим, следствие - это структура) ту самую причину (и только её... или хотя бы с высокой вероятностью именно её, но касательно неизменности информации - восстановить с таким же разбросом, с которым могла предыдущая система). Информации никогда не было достаточно структуры. Информация появляется при восстановлении причины из следствия, т.е. чтобы нечто было уверенно названо информацией, нам нужен процесс восстановления из информации-следствия причины-источника. Если мы уничтожим все вычислительные устройства на Земле сложнее калькулятора, то информация на жёстких дисках и флешках перестанет быть информацией. Потому что не будет существовать никакого способа из структуры-следствия получить причину-источник. Если мы применим тот же принцип к LLM, то поймём, что сами по себе LLM не являются носителями-информации-в-себе. А вот люди - на удивление, являются, даже оставшийся один человек может восстанавливать по структуре своего мозга происходящие с ним события, как устроен мир и т.п.
...правда, я уже запутался, как разговор об информации связан с квалиа боли или с ощущением боли. Хм.
Показать полностью
Матемаг
См. выше про If-else.
Страдающий макрос в Екселе, хе-хе. А если он ещё и визуализарует своё страдание, красным там перемигивается, то точно страдает.
Страдающий NPC в видеоигре. Он же демонстрирует поведение, его видно.
Матемаг
Говорить с неразумным существом, которое осталось в вечном здесь-и-сейчас-ощущении - бессмысленно.
Ложная дихотомия: отвергнуть очевидное / отвергнуть всё, кроме очевидного.
Ну да, понятие-то есть. Не вижу проблем, есть нейрокоррелят и у круглого квадрата. Или у всемогущего всезнающего Бога. Или у множества всех множеств.
Ты поставил в один ряд: 1) вещь, которую отвергают все, упоминая лишь как предмет абсурда; 2) вещь, которую отвергает половина человечества и которая считается спорной; 3) вещь, которую из миллиардов людей отвергают лишь считанные единицы-упрямцы вроде тебя или Деннета, да и то эти люди в частных разговорах то и дело сознаются, что субъективно тоже чувствуют квалиа. По-моему, это неправильно.
Информация появляется при восстановлении причины из следствия, т.е. чтобы нечто было уверенно названо информацией, нам нужен процесс восстановления из информации-следствия причины-источника.
Стоп, а люди могут восстановить источник информации в своей голове по этой информации? У меня некоторые сомнения.
Если подумать, тот факт, что каждый из нас никогда не может выйти за пределы своего сенсориума, вводит в ступор. Перед нами нет ничего, кроме потока сенсорных импульсов. Как перед LLM — корпус человеческих текстов. Мы ищем закономерности. Учимся предсказывать следующий символ или слово. Или импульс. Но всё равно остаёмся в пределах сенсориума. При этом возникает парадокс — у нас всё равно каким-то образом возникает представление о Внечувственной Объективной Внешней Реальности — или мы так думаем.
Большинство людей отвергает идею залезть в машину Нозика, где всё будет иллюзией, но вечной приятной разнообразной иллюзией. Почему? Впрочем, какой-нибудь инопланетянин-бихевиорист мог бы предположить, что это лишь маска. Самообманная интерпретация собственных мозговых импульсов.
«Смотрите, — застенчиво скажет он, почёсывая десятое ухо щупальцем, — каждый из них имел всегда дело лишь с собственными сенсорными импульсами. При этом естественный отбор ещё на уровне предков сформировал у них определённые уклоны в восприятии импульсов и их комбинаций. Некоторые паттерны импульсов воспринимаются как положительные. Некоторые — как отрицательные. Существо при этом может что угодно говорить о том, что у него есть какие-то желания насчёт Внечувственной Внешней Реальности, но на самом деле его поведением движут лишь сенсорные импульсы».
Показать полностью
Матемаг
Я придерживаюсь позиции, что LLM современной структуры не могут иметь сознания по определению; что не значит, что оно не может возникнуть в LLM будущего, впрочем, хотя скорее всего это будут не LLM; возможно, оно даже сможет быть разумным без сознания, что снова означает, что оно не будет испытывать боли, например, даже будучи разумным - это интересная концепция
Такие разговоры похоже на блуждания в трёх соснах концепциях. А что такое разум и сознание, мы так и не знаем до конца.
ПОИСК
ФАНФИКОВ







Закрыть
Закрыть
Закрыть