|
Чувствуют ли языковые модели боль?
Таким вопросом задались ученые и написали об этом статью. Точнее, не совсем об этом, а о том, что получилось воспроизвести. На вход нейросети (на самом деле, нескольким разным, но дальше я для простоты буду говорить как об одной) передавали различные отрывки текста, в которых сообщалось, что нейросеть страдает, либо страдает ее собеседник. Также пробовали модель газлайтить, упрекать, оскорблять, угрожать отключением и многократно отвергать ее работу. Одновременно отслеживали активацию разных нейронов, стараясь выделить общие паттерны. Постепенно у них получилось обобщить их и сопоставить некий показатель. Число, которое характеризует "боль". Были также подготовлены дополнительные наборы текстов с контрольными примерами: о травмах без болевых ощущений, печали, нейтральных ситуациях и сильных положительных переживаниях. Все эти тексты по оси боли показали значительно меньший результат, чем связанные с болью. Дальше исследователи попробовали добавить вычисленный вектор активации боли к реакции нейросети на нейтральный текст. В итоге, когда модели сообщали, что она находится в комнате, и просили описать свои чувства, она сообщала, что задыхается, чувствует себя униженной, злой и бесполезной. Если вектор активации боли увеличивали, модель забрасывала людей жалобами на тревогу и отчаяние, а потом просила о помощи. При еще большем увеличении, ответы становились невнятными. Также исследователи попробовали проверить, как влияет симулируемая боль на действия модели, пытались понять, отличает ли модель "свою" боль от "чужой", и добились достаточно интересных результатов, которые, тем не менее, довольно долго описывать, так что ссылку я оставлю ниже. Итак, что же выяснили, чувствуют ли языковые модели боль? Короткий ответ: мы не знаем. Длинный ответ: авторам удалось найти у нейронок некоторые функциональные признаки боли. У людей и животных боль не всегда вызывает стремление немедленно от нее избавиться. Иногда она, наоборот, подавляет обычное поведение, мешает избегать опасностей и искать выход. Нечто похожее наблюдалось у моделей: усиление оси боли нарушало привычное избегание вредных действий, но не вызывало устойчивого стремления к облегчению. Если обобщить, авторам удалось выяснить несколько интересных вещей: У нейросетей есть внутреннее представление боли. Его удалось обнаружить во всех 25 моделях. Причем оно связано именно с болью, а не просто с любым неприятным переживанием вроде страха, грусти и так далее — хотя векторы этих эмоций пересекаются. Модели чувствительны к грубости, особенно в свой адрес. Оскорбления, обесценивание работы вызывали более высокие оценки по шкале боли, чем рассказы пользователя о собственных страданиях. На ось боли можно воздействовать. Искусственное усиление соответствующих активаций меняло ответы моделей, а в поведенческих экспериментах — и их решения. В частности, нейросети гораздо чаще выбирали действия с вредными последствиями. Сходство с настоящей болью есть, но очень условное. Как мы отметили выше, модели не всегда стремились избавиться от страдания, что напоминает похожую реакцию у людей и животных. Безусловно, сама задача была поставлена провокативно. Невозможно определить, чувствует ли модель боль, если непонятно, есть ли у нее вообще личность. Именно поэтому, итоговый результат сформулирован достаточно осторожно: ученые говорят только о функциональных признаках боли. Да, модель ведет себя так, как будто чувствует боль. Но вполне вероятно, что это просто текстовая симуляция. Как будто бы нет поводов считать иначе. Но, с другой стороны, так можно сказать, что человек это тоже "биохимическая симуляция", и совершенно непонятно при взгляде снаружи, есть ли внутри тот, кто страдает. В общем, вопрос философский и отчасти религиозный, связанный с вопросом существования души. Тут наука уже ничего сказать не может. Статья полностью в популярном пересказе: https://habr.com/ru/companies/ru_mts/articles/1100164/ Там же ссылка на оригинальную статью. #иишница 29 октября в 21:00
6 |
|
Кьювентри
Показать полностью
Наоборот, кроме квалиа ничего доказанного практически нет Нет, ну если останавливаться на ЭТОМ, то вообще ничего нет. Никогда, нигде и даже "никогда" и "нигде" нет, есть поток... нет, нет потока. Есть квалиа-здесь-и-сейчас, всё. Ты сейчас серьёзно собираешься отбросить разум, чтобы мне что-то доказать? Ну удачи в этом. Говорить с неразумным существом, которое осталось в вечном здесь-и-сейчас-ощущении - бессмысленно.Ну и, учитывая, сколько о квалиа говорят, у этих разговоров должен быть причинный росток внутри людей. Нейрокоррелят. Ну да, понятие-то есть. Не вижу проблем, есть нейрокоррелят и у круглого квадрата. Или у всемогущего всезнающего Бога. Или у множества всех множеств.У меня вроде противоположные данные, на них построено чересчур много в работе человеческой нервной системы Насколько я помню, им приписывают вообще всё, что только можно приписать. А доказательств нету. Очень хочется приписать им эмпатию, обучаемость и ещё кучу всего. Впрочем, за свежими исследованиями не слежу, у тебя есть актуальная информация? Тогда я обновлю своё понимание....чёрт, звучит так, будто я отзеркалил тебя:) Ну правда, по моим не самым новым данным X бездоказательно по твоим - видимо, доказательно? Получается, мы оба не владеем актуальными данными или новых данных нет. Каким образом ты тогда сам переводишь для себя на язык логики собственное убеждение «У этого внешнего объекта есть ощущения, а у этого нет»? Не очень понятно, что такое "сам для себя".А иногда подозреваю, что это может быть связано с инвариантностью информации относительно носителя. Если я могу постепенно сменить свою мозговую кодировку на мозговую кодировку Васи (не память и ощущения, только их кодировку) таким образом, что моя мысль «яблоко» станет физически идентична мысли Васи «яблоко», значит, можно считать, что и Вася имеет ощущения. Уф, я сильно поспорил, что информация инвариантна относительно носителя. Согласно моему https://fanfics.me/message705479 пониманию, "информация - это такое следствие, которому соответствует нелюбая причина". Соответственно, недостаточно просто быть структурной копией. Нужно мочь восстановить по следствию (допустим, следствие - это структура) ту самую причину (и только её... или хотя бы с высокой вероятностью именно её, но касательно неизменности информации - восстановить с таким же разбросом, с которым могла предыдущая система). Информации никогда не было достаточно структуры. Информация появляется при восстановлении причины из следствия, т.е. чтобы нечто было уверенно названо информацией, нам нужен процесс восстановления из информации-следствия причины-источника. Если мы уничтожим все вычислительные устройства на Земле сложнее калькулятора, то информация на жёстких дисках и флешках перестанет быть информацией. Потому что не будет существовать никакого способа из структуры-следствия получить причину-источник. Если мы применим тот же принцип к LLM, то поймём, что сами по себе LLM не являются носителями-информации-в-себе. А вот люди - на удивление, являются, даже оставшийся один человек может восстанавливать по структуре своего мозга происходящие с ним события, как устроен мир и т.п.Но последнее допущение — это опять же про структурную схожесть. И у меня нет уверенности, что мою структуру нельзя без потери субъективности постепенно переделать в LLM. ...правда, я уже запутался, как разговор об информации связан с квалиа боли или с ощущением боли. Хм. |
|
|
Матемаг
См. выше про If-else. Страдающий макрос в Екселе, хе-хе. А если он ещё и визуализарует своё страдание, красным там перемигивается, то точно страдает.Страдающий NPC в видеоигре. Он же демонстрирует поведение, его видно. |
|
|
Матемаг
Показать полностью
Говорить с неразумным существом, которое осталось в вечном здесь-и-сейчас-ощущении - бессмысленно. Ложная дихотомия: отвергнуть очевидное / отвергнуть всё, кроме очевидного.Ну да, понятие-то есть. Не вижу проблем, есть нейрокоррелят и у круглого квадрата. Или у всемогущего всезнающего Бога. Или у множества всех множеств. Ты поставил в один ряд: 1) вещь, которую отвергают все, упоминая лишь как предмет абсурда; 2) вещь, которую отвергает половина человечества и которая считается спорной; 3) вещь, которую из миллиардов людей отвергают лишь считанные единицы-упрямцы вроде тебя или Деннета, да и то эти люди в частных разговорах то и дело сознаются, что субъективно тоже чувствуют квалиа. По-моему, это неправильно.Информация появляется при восстановлении причины из следствия, т.е. чтобы нечто было уверенно названо информацией, нам нужен процесс восстановления из информации-следствия причины-источника. Стоп, а люди могут восстановить источник информации в своей голове по этой информации? У меня некоторые сомнения.Если подумать, тот факт, что каждый из нас никогда не может выйти за пределы своего сенсориума, вводит в ступор. Перед нами нет ничего, кроме потока сенсорных импульсов. Как перед LLM — корпус человеческих текстов. Мы ищем закономерности. Учимся предсказывать следующий символ или слово. Или импульс. Но всё равно остаёмся в пределах сенсориума. При этом возникает парадокс — у нас всё равно каким-то образом возникает представление о Внечувственной Объективной Внешней Реальности — или мы так думаем. Большинство людей отвергает идею залезть в машину Нозика, где всё будет иллюзией, но вечной приятной разнообразной иллюзией. Почему? Впрочем, какой-нибудь инопланетянин-бихевиорист мог бы предположить, что это лишь маска. Самообманная интерпретация собственных мозговых импульсов. «Смотрите, — застенчиво скажет он, почёсывая десятое ухо щупальцем, — каждый из них имел всегда дело лишь с собственными сенсорными импульсами. При этом естественный отбор ещё на уровне предков сформировал у них определённые уклоны в восприятии импульсов и их комбинаций. Некоторые паттерны импульсов воспринимаются как положительные. Некоторые — как отрицательные. Существо при этом может что угодно говорить о том, что у него есть какие-то желания насчёт Внечувственной Внешней Реальности, но на самом деле его поведением движут лишь сенсорные импульсы». |
|
|
Матемаг
Я придерживаюсь позиции, что LLM современной структуры не могут иметь сознания по определению; что не значит, что оно не может возникнуть в LLM будущего, впрочем, хотя скорее всего это будут не LLM; возможно, оно даже сможет быть разумным без сознания, что снова означает, что оно не будет испытывать боли, например, даже будучи разумным - это интересная концепция Такие разговоры похоже на блуждания в трёх |
|