Заяц: Чувствуют ли языковые модели боль? Таким вопросом задались ученые и написали об этом статью. Точнее

Чувствуют ли языковые модели боль?

Таким вопросом задались ученые и написали об этом статью. Точнее, не совсем об этом, а о том, что получилось воспроизвести. На вход нейросети (на самом деле, нескольким разным, но дальше я для простоты буду говорить как об одной) передавали различные отрывки текста, в которых сообщалось, что нейросеть страдает, либо страдает ее собеседник. Также пробовали модель газлайтить, упрекать, оскорблять, угрожать отключением и многократно отвергать ее работу. Одновременно отслеживали активацию разных нейронов, стараясь выделить общие паттерны. Постепенно у них получилось обобщить их и сопоставить некий показатель. Число, которое характеризует "боль". Были также подготовлены дополнительные наборы текстов с контрольными примерами: о травмах без болевых ощущений, печали, нейтральных ситуациях и сильных положительных переживаниях. Все эти тексты по оси боли показали значительно меньший результат, чем связанные с болью. Дальше исследователи попробовали добавить вычисленный вектор активации боли к реакции нейросети на нейтральный текст. В итоге, когда модели сообщали, что она находится в комнате, и просили описать свои чувства, она сообщала, что задыхается, чувствует себя униженной, злой и бесполезной. Если вектор активации боли увеличивали, модель забрасывала людей жалобами на тревогу и отчаяние, а потом просила о помощи. При еще большем увеличении, ответы становились невнятными. Также исследователи попробовали проверить, как влияет симулируемая боль на действия модели, пытались понять, отличает ли модель "свою" боль от "чужой", и добились достаточно интересных результатов, которые, тем не менее, довольно долго описывать, так что ссылку я оставлю ниже.

Итак, что же выяснили, чувствуют ли языковые модели боль?

Короткий ответ:

мы не знаем.

Длинный ответ:

авторам удалось найти у нейронок некоторые функциональные признаки боли. У людей и животных боль не всегда вызывает стремление немедленно от нее избавиться. Иногда она, наоборот, подавляет обычное поведение, мешает избегать опасностей и искать выход. Нечто похожее наблюдалось у моделей: усиление оси боли нарушало привычное избегание вредных действий, но не вызывало устойчивого стремления к облегчению.

Если обобщить, авторам удалось выяснить несколько интересных вещей:

У нейросетей есть внутреннее представление боли. Его удалось обнаружить во всех 25 моделях. Причем оно связано именно с болью, а не просто с любым неприятным переживанием вроде страха, грусти и так далее — хотя векторы этих эмоций пересекаются.

Модели чувствительны к грубости, особенно в свой адрес. Оскорбления, обесценивание работы вызывали более высокие оценки по шкале боли, чем рассказы пользователя о собственных страданиях.

На ось боли можно воздействовать. Искусственное усиление соответствующих активаций меняло ответы моделей, а в поведенческих экспериментах — и их решения. В частности, нейросети гораздо чаще выбирали действия с вредными последствиями.

Сходство с настоящей болью есть, но очень условное. Как мы отметили выше, модели не всегда стремились избавиться от страдания, что напоминает похожую реакцию у людей и животных.

Безусловно, сама задача была поставлена провокативно. Невозможно определить, чувствует ли модель боль, если непонятно, есть ли у нее вообще личность. Именно поэтому, итоговый результат сформулирован достаточно осторожно: ученые говорят только о функциональных признаках боли. Да, модель ведет себя так, как будто чувствует боль. Но вполне вероятно, что это просто текстовая симуляция. Как будто бы нет поводов считать иначе. Но, с другой стороны, так можно сказать, что человек это тоже "биохимическая симуляция", и совершенно непонятно при взгляде снаружи, есть ли внутри тот, кто страдает. В общем, вопрос философский и отчасти религиозный, связанный с вопросом существования души. Тут наука уже ничего сказать не может.

Статья полностью в популярном пересказе:
https://habr.com/ru/companies/ru_mts/articles/1100164/
Там же ссылка на оригинальную статью.

#иишница

вчера в 21:00

Отключить рекламу

13 комментариев

	финикийский_торговец вчера в 21:31
Важнее чувствуют ли они страх, хе-хе. 1

	Serryta Онлайн вчера в 21:58
Не очеловечивать нейронку, говорили они, пытая потенциально разумное существо. 1

Selconfection Онлайн

вчера в 22:07

Что бы чувствовать боль , нужно иметь ЦНС. У языковых моделей ее нет. О чем можно говорить ???? Языковая модель это сложная ЭВМ. Это машина, которая вычисляет. Это не та сложная система, которая на столько сложна, что способна иметь личность и переживать эмоции с личностным опытом и его накоплением. Поскольку личности у алгоритма нет. Даже, если вдруг уже появился AGI , то это все еще очень крутой ЭВМ. Не более. То, что он сможет совершать сверхсложные задачи, не говорит о наличии необходимых условий для того, что бы испытывать душевные страдания .
Об иных и речи не может идти, так как ЦНС в принципе отсутствует.
Так что, подобные исследования, какая то дичь, если предмет исследования именно этот.
Если когда нибудь будет возможно создать именно ЛИЧНОСТЬ на основе ИИ , то мы будем подобны богам. А пока, можно писать фантастику

	Selconfection Онлайн вчера в 22:09
Serryta Не очеловечивать нейронку, говорили они, пытая потенциально разумное существо. Вы понимаете, что такое разум? Калькулятор это разумное существо ? Вы путаете способность вычислять, с разумом.

	Дoлoxов Онлайн вчера в 22:44
Я ещё несколько лет назад говорил, что в будущем все эти капчи станут запрещенным символом апартеида и перед роботами будут извиняться 1

ReznoVV

вчера в 22:45

То есть они взяли 25 моделей, ориентированных на симуляцию общения с человеком (раз им именно тексты скармливали), и выяснили, что всем им присуща симуляция одного из человеческих чувств? Ну, что сказать, авторы всех моделей не зря свою зарплату получают. Интересно, а этим учёным не пришла в голову идея проверить, испытывает ли боль нейросетевой CFD-решатель, когда ему граничные условия с точками разрыва первого рода ставят? Вот бы они удивились!

Кьювентри Онлайн

вчера в 23:10

Что бы чувствовать боль , нужно иметь ЦНС

А почему не дышать кислородом?

Глупо, конечно.
В том смысле, что таким способом нельзя никого ни в чём убедить. Принципиально разные философии сознания. Одним нужна «ЦНС, а ещё лучше кислород в клетках». Другим подавай квантовые флюктуации в микротрубочках, «а иначе это не настоящее сознание». Третьи, начитавшись про ТИИ (та ещё лженаука), требуют, чтобы все треки были одновременно физически переплетены, а иначе, дескать, сознания нет, даже если между входом и выходом по итогу происходит то же.

Что такое ощущение, снаружи понять нельзя. В принципе нельзя.
Но тем, кто отрывает ощущение от функции (допуская существование «философского зомби», объекта «ведущего-себя-как-сознание, но не сознательного»), вполне можно задать вопрос.

Почему практически все чувства живых существ на Земле бихевиоральны? То есть связаны с поведением? Почему мало случаев, где мучающееся болью существо радостно ржёт или что-то типа того?
Если считать, что ощущение и поведение — физически разные вещи, то не видно причин, почему эволюция должна заботиться о складывании ощущений в цельную логичную картинку. Эволюцию должно волновать только как себя ведёт существо, а не что оно чувствует.
Если же эволюция заботится и о том, и о другом, — это говорит в пользу теории, что ощущения и есть пресуппозиция поведения. Даже если мы пока не можем понять как.

Показать полностью

	Selconfection Онлайн вчера в 23:26
Кьювентри Это абстрактный спор. Шовинизм это не факт, а философское понятие. Можно сколько угодно строить теорий, для обоснования нужны факты, которых нет.

Amalia_Vilson

сегодня в 05:00

Если нейросеть обучали на людях (и их текстах, комментариях и т.д.) почему решили, что нейросеть именно чувствует боль, а не копирует реакции людей, которые она видела в интернете на аналогичные действия: оскорбления, угрозы...
И пока этот вопрос не рассмотрен, то можно ли верить таким "исследованиям"?

Serryta Онлайн

сегодня в 06:42

Selconfection
То, что на сегодняшний день мы достоверно знаем о способности испытывать боль только у существ с центральной нервной системой, не означает, что наличие ЦНС является обязательным и универсальным условием возникновения субъективного переживания боли. Это лишь означает, что именно такие системы мы пока научились достаточно хорошо исследовать.

Отсутствие доказательств способности испытывать боль у существ с иной организацией нервной системы или вообще без неё не является доказательством невозможности такой способности.

А если проще: если нечто крякает как утка, плавает как утка и выглядит как утка, то, возможно, блять, стоит хотя бы допустить, что перед нами утка, а не объявлять утку невозможной исключительно потому, что мы раньше встречали только уток с определённым анатомическим строением.

Вы понимаете, что такое разум? Калькулятор это разумное существо ? Вы путаете способность вычислять, с разумом.

Дайте, пжалста, определение разума, раз вы на это опираетесь.
А то младенцы тоже переносили хир.операции без анестезии некоторое время назад только потому, что "они не чувствуют боли, раз все равно постоянно орут".

Показать полностью

Матемаг

сегодня в 09:23

Serryta

если нечто крякает как утка, плавает как утка и выглядит как утка, то, возможно, блять, стоит хотя бы допустить, что перед нами утка, а не объявлять утку невозможной исключительно потому, что мы раньше встречали только уток с определённым анатомическим строением.

Э нет, поведение не определяет наличие или отсутствие боли. Это не работает на людях и, порой, животных. Разве что - острая боль выше некоторой грани определяет поведение. Опять же, ничего того, что могло бы быть у, допустим, чатбота. Т.о. боль познаётся не по поведению, а как раз по внутренней работа системы.

	Заяц Онлайн сегодня в 09:33
ReznoVV испытывает ли боль нейросетевой CFD-решатель, когда ему граничные условия с точками разрыва первого рода ставят? Только когда решение расходится.

Serryta Онлайн

сегодня в 10:05

Матемаг

А как мы определяем, испытывает ли боль (и способен ли это делать) другой человек или другое животное? Вот кошку пнули, кошка что-то орет. Но испытывает ли она боль? Мы не можем узнать внутреннюю работу системы "кошка", значит, не испытывает?

Вы ведь тоже не имеете непосредственного доступа к субъективному опыту другого человека или кошки. Вы не знаете в точности, что происходит в их сознании (и есть ли оно вообще), и не можете непосредственно проверить, действительно ли они испытывают то, о чём сообщают или демонстрируют.

Мы судим о наличии боли по косвенным знакам: словам, поведению, физиологическим реакциям, характеру воздействия и известным механизмам работы нервной системы.

При этом мы далеко не полностью понимаем даже то, как именно биологические процессы порождают субъективное переживание боли. Мы достаточно хорошо изучили её нейрофизиологические механизмы, но это не равнозначно решению проблемы субъективного опыта.

Поэтому утверждение, что боль познаётся исключительно через внутреннее устройство системы, тоже требует обоснования. Какое именно устройство считать достаточным? Какие механизмы необходимы? Почему именно биологические, а не функционально альтернативные?

Если мы признаём совокупность косвенных свидетельств достаточной для обоснованного предположения о боли у других людей и животных, то должны объяснить, почему аналогичные по своей доказательной функции свидетельства в случае искусственных систем принципиально недопустимы.

Ну или короче, поскольку корректный вариант формулировки выше из матерного переписывала гопота:
А схуяли только по внутреннему и как определить, что именно это - боль? У паучка мозгов нет, боль он чувствует. У рыбки мозг есть, но чувствует ли она боль - а хер ее знает, может, она оргазмирует, когда ей плавнички отрывают.
Да и само понятие "испытывает боль" мы до сих пор описать нормально не можем.

Показать полностью