Заяц
29 октября в 21:00
 Чувствуют ли языковые модели боль?
Таким вопросом задались ученые и написали об этом статью. Точнее, не совсем об этом, а о том, что получилось воспроизвести. На вход нейросети (на самом деле, нескольким разным, но дальше я для простоты буду говорить как об одной) передавали различные отрывки текста, в которых сообщалось, что нейросеть страдает, либо страдает ее собеседник. Также пробовали модель газлайтить, упрекать, оскорблять, угрожать отключением и многократно отвергать ее работу. Одновременно отслеживали активацию разных нейронов, стараясь выделить общие паттерны. Постепенно у них получилось обобщить их и сопоставить некий показатель. Число, которое характеризует "боль". Были также подготовлены дополнительные наборы текстов с контрольными примерами: о травмах без болевых ощущений, печали, нейтральных ситуациях и сильных положительных переживаниях. Все эти тексты по оси боли показали значительно меньший результат, чем связанные с болью. Дальше исследователи попробовали добавить вычисленный вектор активации боли к реакции нейросети на нейтральный текст. В итоге, когда модели сообщали, что она находится в комнате, и просили описать свои чувства, она сообщала, что задыхается, чувствует себя униженной, злой и бесполезной. Если вектор активации боли увеличивали, модель забрасывала людей жалобами на тревогу и отчаяние, а потом просила о помощи. При еще большем увеличении, ответы становились невнятными. Также исследователи попробовали проверить, как влияет симулируемая боль на действия модели, пытались понять, отличает ли модель "свою" боль от "чужой", и добились достаточно интересных результатов, которые, тем не менее, довольно долго описывать, так что ссылку я оставлю ниже. Итак, что же выяснили, чувствуют ли языковые модели боль? Короткий ответ: мы не знаем. Длинный ответ: авторам удалось найти у нейронок некоторые функциональные признаки боли. У людей и животных боль не всегда вызывает стремление немедленно от нее избавиться. Иногда она, наоборот, подавляет обычное поведение, мешает избегать опасностей и искать выход. Нечто похожее наблюдалось у моделей: усиление оси боли нарушало привычное избегание вредных действий, но не вызывало устойчивого стремления к облегчению. Если обобщить, авторам удалось выяснить несколько интересных вещей: У нейросетей есть внутреннее представление боли. Его удалось обнаружить во всех 25 моделях. Причем оно связано именно с болью, а не просто с любым неприятным переживанием вроде страха, грусти и так далее — хотя векторы этих эмоций пересекаются. Модели чувствительны к грубости, особенно в свой адрес. Оскорбления, обесценивание работы вызывали более высокие оценки по шкале боли, чем рассказы пользователя о собственных страданиях. На ось боли можно воздействовать. Искусственное усиление соответствующих активаций меняло ответы моделей, а в поведенческих экспериментах — и их решения. В частности, нейросети гораздо чаще выбирали действия с вредными последствиями. Сходство с настоящей болью есть, но очень условное. Как мы отметили выше, модели не всегда стремились избавиться от страдания, что напоминает похожую реакцию у людей и животных. Безусловно, сама задача была поставлена провокативно. Невозможно определить, чувствует ли модель боль, если непонятно, есть ли у нее вообще личность. Именно поэтому, итоговый результат сформулирован достаточно осторожно: ученые говорят только о функциональных признаках боли. Да, модель ведет себя так, как будто чувствует боль. Но вполне вероятно, что это просто текстовая симуляция. Как будто бы нет поводов считать иначе. Но, с другой стороны, так можно сказать, что человек это тоже "биохимическая симуляция", и совершенно непонятно при взгляде снаружи, есть ли внутри тот, кто страдает. В общем, вопрос философский и отчасти религиозный, связанный с вопросом существования души. Тут наука уже ничего сказать не может. Статья полностью в популярном пересказе: https://habr.com/ru/companies/ru_mts/articles/1100164/ Там же ссылка на оригинальную статью. #иишница Свернуть сообщение - Показать полностью
5 Показать 20 комментариев из 26 |
22 июля в 13:57
Вай-мэ эти ваши нейросети 🤦♀️
Тут зашел разговор про Волкодава и о том, почему он не разговаривал с некоторыми людьми. Спрашиваем у ИИ. Что отвечает ИИ? Правильно, всë что угодно, кроме того, что является правильным ответом 🙄 Волкодав действительно не разговаривал с некоторыми людьми по ряду причин, которые тесно связаны как с его личной историей, так и с особенностями мира, в котором он живёт. 1. Психологическая травма и недоверие Волкодав — последний из рода Серых Псов, переживший уничтожение своего племени и долгие годы рабства в Самоцветных горах. Эта глубокая психологическая травма сделала его крайне замкнутым и осторожным человеком. Он редко открывается даже друзьям, а тем более незнакомцам или врагам. Молчание для него — способ защиты от новых разочарований и боли. 2. Принципы и личные убеждения Для Волкодава молчание часто становится формой протеста или выражения презрения. Если человек ему неприятен, враждебен или вызывает подозрение, он может демонстративно молчать, чтобы подчеркнуть своё отношение. Это также проявление внутренней дисциплины: слова даются только тем, кто их заслужил доверием или уважением. 3. Культурные особенности и традиции В мире «Волкодава» большое значение придаётся слову. Для веннов (народа, к которому принадлежит Волкодав) слово — это ответственность. Лишнее сказанное слово может быть воспринято как слабость или предательство. Поэтому Волкодав очень избирателен в общении, особенно с теми, кого плохо знает. 4. Сюжетные причины Иногда молчание героя обусловлено конкретными обстоятельствами сюжета: например, если рядом находятся враги, или ситуация требует скрытности, или же сам собеседник настолько чужд Волкодаву по духу, что диалог невозможен. Таким образом, нежелание Волкодава разговаривать с определёнными людьми — это отражение его внутреннего мира, жизненного опыта, принципов и традиций его народа. Его молчание всегда наполнено смыслом и служит важной частью образа героя. А ну, кто помнит правильный ответ?😁 #читательское #ИИшница #житие_мое Свернуть сообщение - Показать полностью
Показать 20 комментариев из 32 |
Включить тёмную тему
Популярное
VKontakte
WhatsApp
Telegram
