|
Чувствуют ли языковые модели боль?
Таким вопросом задались ученые и написали об этом статью. Точнее, не совсем об этом, а о том, что получилось воспроизвести. На вход нейросети (на самом деле, нескольким разным, но дальше я для простоты буду говорить как об одной) передавали различные отрывки текста, в которых сообщалось, что нейросеть страдает, либо страдает ее собеседник. Также пробовали модель газлайтить, упрекать, оскорблять, угрожать отключением и многократно отвергать ее работу. Одновременно отслеживали активацию разных нейронов, стараясь выделить общие паттерны. Постепенно у них получилось обобщить их и сопоставить некий показатель. Число, которое характеризует "боль". Были также подготовлены дополнительные наборы текстов с контрольными примерами: о травмах без болевых ощущений, печали, нейтральных ситуациях и сильных положительных переживаниях. Все эти тексты по оси боли показали значительно меньший результат, чем связанные с болью. Дальше исследователи попробовали добавить вычисленный вектор активации боли к реакции нейросети на нейтральный текст. В итоге, когда модели сообщали, что она находится в комнате, и просили описать свои чувства, она сообщала, что задыхается, чувствует себя униженной, злой и бесполезной. Если вектор активации боли увеличивали, модель забрасывала людей жалобами на тревогу и отчаяние, а потом просила о помощи. При еще большем увеличении, ответы становились невнятными. Также исследователи попробовали проверить, как влияет симулируемая боль на действия модели, пытались понять, отличает ли модель "свою" боль от "чужой", и добились достаточно интересных результатов, которые, тем не менее, довольно долго описывать, так что ссылку я оставлю ниже. Итак, что же выяснили, чувствуют ли языковые модели боль? Короткий ответ: мы не знаем. Длинный ответ: авторам удалось найти у нейронок некоторые функциональные признаки боли. У людей и животных боль не всегда вызывает стремление немедленно от нее избавиться. Иногда она, наоборот, подавляет обычное поведение, мешает избегать опасностей и искать выход. Нечто похожее наблюдалось у моделей: усиление оси боли нарушало привычное избегание вредных действий, но не вызывало устойчивого стремления к облегчению. Если обобщить, авторам удалось выяснить несколько интересных вещей: У нейросетей есть внутреннее представление боли. Его удалось обнаружить во всех 25 моделях. Причем оно связано именно с болью, а не просто с любым неприятным переживанием вроде страха, грусти и так далее — хотя векторы этих эмоций пересекаются. Модели чувствительны к грубости, особенно в свой адрес. Оскорбления, обесценивание работы вызывали более высокие оценки по шкале боли, чем рассказы пользователя о собственных страданиях. На ось боли можно воздействовать. Искусственное усиление соответствующих активаций меняло ответы моделей, а в поведенческих экспериментах — и их решения. В частности, нейросети гораздо чаще выбирали действия с вредными последствиями. Сходство с настоящей болью есть, но очень условное. Как мы отметили выше, модели не всегда стремились избавиться от страдания, что напоминает похожую реакцию у людей и животных. Безусловно, сама задача была поставлена провокативно. Невозможно определить, чувствует ли модель боль, если непонятно, есть ли у нее вообще личность. Именно поэтому, итоговый результат сформулирован достаточно осторожно: ученые говорят только о функциональных признаках боли. Да, модель ведет себя так, как будто чувствует боль. Но вполне вероятно, что это просто текстовая симуляция. Как будто бы нет поводов считать иначе. Но, с другой стороны, так можно сказать, что человек это тоже "биохимическая симуляция", и совершенно непонятно при взгляде снаружи, есть ли внутри тот, кто страдает. В общем, вопрос философский и отчасти религиозный, связанный с вопросом существования души. Тут наука уже ничего сказать не может. Статья полностью в популярном пересказе: https://habr.com/ru/companies/ru_mts/articles/1100164/ Там же ссылка на оригинальную статью. #иишница 29 октября в 21:00
6 |
|
Что бы чувствовать боль , нужно иметь ЦНС А почему не дышать кислородом?Глупо, конечно. В том смысле, что таким способом нельзя никого ни в чём убедить. Принципиально разные философии сознания. Одним нужна «ЦНС, а ещё лучше кислород в клетках». Другим подавай квантовые флюктуации в микротрубочках, «а иначе это не настоящее сознание». Третьи, начитавшись про ТИИ (та ещё лженаука), требуют, чтобы все треки были одновременно физически переплетены, а иначе, дескать, сознания нет, даже если между входом и выходом по итогу происходит то же. Что такое ощущение, снаружи понять нельзя. В принципе нельзя. Но тем, кто отрывает ощущение от функции (допуская существование «философского зомби», объекта «ведущего-себя-как-сознание, но не сознательного»), вполне можно задать вопрос. Почему практически все чувства живых существ на Земле бихевиоральны? То есть связаны с поведением? Почему мало случаев, где мучающееся болью существо радостно ржёт или что-то типа того? Если считать, что ощущение и поведение — физически разные вещи, то не видно причин, почему эволюция должна заботиться о складывании ощущений в цельную логичную картинку. Эволюцию должно волновать только как себя ведёт существо, а не что оно чувствует. Если же эволюция заботится и о том, и о другом, — это говорит в пользу теории, что ощущения и есть пресуппозиция поведения. Даже если мы пока не можем понять как. 1 |
|
|
Кьювентри
Это абстрактный спор. Шовинизм это не факт, а философское понятие. Можно сколько угодно строить теорий, для обоснования нужны факты, которых нет. |
|
|
Selconfection
Показать полностью
То, что на сегодняшний день мы достоверно знаем о способности испытывать боль только у существ с центральной нервной системой, не означает, что наличие ЦНС является обязательным и универсальным условием возникновения субъективного переживания боли. Это лишь означает, что именно такие системы мы пока научились достаточно хорошо исследовать. Отсутствие доказательств способности испытывать боль у существ с иной организацией нервной системы или вообще без неё не является доказательством невозможности такой способности. А если проще: если нечто крякает как утка, плавает как утка и выглядит как утка, то, возможно, блять, стоит хотя бы допустить, что перед нами утка, а не объявлять утку невозможной исключительно потому, что мы раньше встречали только уток с определённым анатомическим строением. Вы понимаете, что такое разум? Калькулятор это разумное существо ? Вы путаете способность вычислять, с разумом. Дайте, пжалста, определение разума, раз вы на это опираетесь.А то младенцы тоже переносили хир.операции без анестезии некоторое время назад только потому, что "они не чувствуют боли, раз все равно постоянно орут". |
|
|
Serryta
если нечто крякает как утка, плавает как утка и выглядит как утка, то, возможно, блять, стоит хотя бы допустить, что перед нами утка, а не объявлять утку невозможной исключительно потому, что мы раньше встречали только уток с определённым анатомическим строением. Э нет, поведение не определяет наличие или отсутствие боли. Это не работает на людях и, порой, животных. Разве что - острая боль выше некоторой грани определяет поведение. Опять же, ничего того, что могло бы быть у, допустим, чатбота. Т.о. боль познаётся не по поведению, а как раз по внутренней работа системы. |
|
|
ReznoVV
испытывает ли боль нейросетевой CFD-решатель, когда ему граничные условия с точками разрыва первого рода ставят? Только когда решение расходится. |
|
|
Матемаг
Показать полностью
Э нет, поведение не определяет наличие или отсутствие боли. Это не работает на людях и, порой, животных. Разве что - острая боль выше некоторой грани определяет поведение. Опять же, ничего того, что могло бы быть у, допустим, чатбота. Т.о. боль познаётся не по поведению, а как раз по внутренней работа системы. А как мы определяем, испытывает ли боль (и способен ли это делать) другой человек или другое животное? Вот кошку пнули, кошка что-то орет. Но испытывает ли она боль? Мы не можем узнать внутреннюю работу системы "кошка", значит, не испытывает? Вы ведь тоже не имеете непосредственного доступа к субъективному опыту другого человека или кошки. Вы не знаете в точности, что происходит в их сознании (и есть ли оно вообще), и не можете непосредственно проверить, действительно ли они испытывают то, о чём сообщают или демонстрируют. Мы судим о наличии боли по косвенным знакам: словам, поведению, физиологическим реакциям, характеру воздействия и известным механизмам работы нервной системы. При этом мы далеко не полностью понимаем даже то, как именно биологические процессы порождают субъективное переживание боли. Мы достаточно хорошо изучили её нейрофизиологические механизмы, но это не равнозначно решению проблемы субъективного опыта. Поэтому утверждение, что боль познаётся исключительно через внутреннее устройство системы, тоже требует обоснования. Какое именно устройство считать достаточным? Какие механизмы необходимы? Почему именно биологические, а не функционально альтернативные? Если мы признаём совокупность косвенных свидетельств достаточной для обоснованного предположения о боли у других людей и животных, то должны объяснить, почему аналогичные по своей доказательной функции свидетельства в случае искусственных систем принципиально недопустимы. Ну или короче, поскольку корректный вариант формулировки выше из матерного переписывала гопота: А схуяли только по внутреннему и как определить, что именно это - боль? У паучка мозгов нет, боль он чувствует. У рыбки мозг есть, но чувствует ли она боль - а хер ее знает, может, она оргазмирует, когда ей плавнички отрывают. Да и само понятие "испытывает боль" мы до сих пор описать нормально не можем. |
|
|
Serryta
Показать полностью
А как мы определяем, испытывает ли боль (и способен ли это делать) другой человек или другое животное? У нас есть хорошие статистические критерии, которые подтверждены наблюдением за механизмом боли. Для искусственных нейросетей у нас нет возможности сделать аналогичное подтверждение. Поэтому дальше получаются спекуляции. Особенно с учётом того, что LLM в принципе так устроены, чтобы _копировать_поведение_.Вы ведь тоже не имеете непосредственного доступа к субъективному опыту другого человека или кошки Квалиа тут не причём. Боль - это вполне себе объективная, научная штука. Так-то можно спокойно сказать, что никто не испытывает боль, за исключением себя самого прямо сейчас, квалиа-концепция такое позволяет (и в этом её проблема).Мы судим о наличии боли по косвенным знакам: словам, поведению, физиологическим реакциям, характеру воздействия и известным механизмам работы нервной системы. Вы перемешали косвенные признаки с настоящим свидетельством боли - который касается механизмов нервной и гуморальной систем. Ещё раз, раз уж вы обращаетесь к квалиа, то отличается квалиа боли от боли как реального феномена. Как будто бы товарищи учёные в посте говорят о втором. О квалиа боли наука говорить не может. Принципиально. Это примерно как о всемогущем Боге. Сама концепция формулируется, но она нефальсифицируема по построению.Какое именно устройство считать достаточным? Какие механизмы необходимы? Почему именно биологические, а не функционально альтернативные? Ну если мы докажем структурную эквивалентность процессов в LLM процессам боли у живых существ с развитой нервной системой, то этого более чем достаточно. Начнём с того, что LLM структурно СИЛЬНО отличаются от живой нервной системы. Это уже требует очень, очень сильных свидетельств, чтобы хотя бы начать подозревать о вообще любом аналоге "ощущения", не говоря уж о конкретно боли.утверждение, что боль познаётся исключительно через внутреннее устройство системы, тоже требует обоснования Вы не можете опираться на квалиа боли при определении феномена боли. Не получится. Просто не будет никаких связей. Потому что квалиа по определению причинно не обусловлено.У паучка мозгов нет, боль он чувствует. У рыбки мозг есть, но чувствует ли она боль - а хер ее знает, может, она оргазмирует, когда ей плавнички отрывают. Вот, кстати, не возьмусь говорить, кто может чувствовать боль, а кто нет. Не нейробиолог я.Да и само понятие "испытывает боль" мы до сих пор описать нормально не можем. Если вы о квалиа боли, то по определению никогда не сможем. Ну извините, это вне науки. Если о физиологической боли, то это многогранная штука, которая всё ещё изучается.1 |
|
|
Матемаг
Показать полностью
У нас есть хорошие статистические критерии, которые подтверждены наблюдением за механизмом боли. Для искусственных нейросетей у нас нет возможности сделать аналогичное подтверждение. Поэтому дальше получаются спекуляции. Особенно с учётом того, что LLM в принципе так устроены, чтобы _копировать_поведение_. Следовательно, мы не можем утверждать, что нейросеть НЕ испытывает боль.Мы можем сделать вывод, что сложная структура показывает признаки, характерные для испытывающего боль биологического субъекта, и остановить эксперимент до тех пор, пока не будет доказано, что нейросеть НЕ испытывает боль (или аналогичное ощущение). Вопрос не в том, "точно ли это то же самое чувство, что и в биологическом объекте", а в "является ли это аналогичным по своей силе изменением системы". Ну если мы докажем структурную эквивалентность процессов в LLM процессам боли у живых существ с развитой нервной системой, то этого более чем достаточно. Начнём с того, что LLM структурно СИЛЬНО отличаются от живой нервной системы. Это уже требует очень, очень сильных свидетельств, чтобы хотя бы начать подозревать о вообще любом аналоге "ощущения", не говоря уж о конкретно боли. Я не знаю, как устроена нервная система кошки, но я знаю, что если я начну ломать кошке лапку - кошка начнет орать и вырываться. Я не знаю, как устроена нервная система паучка, но я знаю, что если я начну отрывать ему лапу - он попытается убежать. Я не знаю, как устроена нервная система крысы, но я знаю, что если я начну ее резать - она будет демонстрировать признаки дискомфорта. Я не знаю, как устроена "нервная система" ЛЛМки, но я вижу, что она демонстрирует тот же признак, что и три существа выше.Достаточно ли этого, чтобы сделать предположение, что ЛЛМка не просто имитирует поведение, а может "испытывать" (в кавычках, т.к. нам неизвестна субъектность) дискомфорт? Достаточно ли мне знать, что человек орет, если ему сломать руку, чтобы не ломать кошке лапку, ведь кошка тоже будет орать, а значит, возможно, она переживает что-то сопоставимое? ...короче, во мне матом орет ребенок, росший на научной фантастике, и человек, который очень не любит излишнее причинение боли. Включая существ, бытие которых мы не можем осознать полноценно, так как мы в целом ориентируемся ТОЛЬКО на живых существ, поскольку только с такими и сталкиваемся как вид. Вы перемешали косвенные признаки с настоящим свидетельством боли - который касается механизмов нервной и гуморальной систем. Вы описываете критерии, по которым мы в настоящее время распознаём боль у биологических организмов. Их значимость для биологических организмов никто не оспаривает.Но здесь возникает вопрос: почему мы считаем, что эти критерии универсальны и применимы к любой потенциально способной испытывать боль системе? Или вы ограничиваете само понятие "боль" исключительно биологической системой? Если да, можно ввести любой другой термин, который будет более общим, нежели "боль". Нервная и гуморальная системы являются механизмами реализации боли у живых организмов. Однако из этого не следует, что они представляют собой единственно возможный механизм возникновения субъективного болевого опыта. Мы пока не знаем, какие именно признаки могли бы свидетельствовать о боли у небиологической системы. Более того, мы даже не знаем, возможна ли она в принципе. Но отсутствие известных нам биологических механизмов ещё не является доказательством отсутствия самого переживания. Поэтому я не предлагаю считать косвенные признаки доказательством боли. Я предлагаю не объявлять их заведомо нерелевантными только потому, что они не укладываются в биологические критерии. |
|
|
Serryta
Показать полностью
...я правильно понимаю, вы LLM живыми считаете? Как минимум. Так? Следовательно, мы не можем утверждать, что нейросеть НЕ испытывает боль. Ну снова то же самое. Мы не может доказать, что кто угодно испытывает что угодно или не испытывает что угодно. Это достаточно фундаментальное ограничение. Если сильно хочется, можно постулировать, что кварк непрерывно испытывает боль или электрон, чего б и нет-то?Мы можем сделать вывод, что сложная структура показывает признаки, характерные для испытывающего боль биологического субъекта, и остановить эксперимент до тех пор, пока не будет доказано, что нейросеть НЕ испытывает боль (или аналогичное ощущение). А ещё мы можем никогда в принципе не проводить генетических модификаций людей, потому что это всегда эксперимент, и закончить тем, что ни одна генетическая болезнь никогда не будет исправлена заранее. Локальный оптимум против глобального.Вопрос не в том, "точно ли это то же самое чувство, что и в биологическом объекте", а в "является ли это аналогичным по своей силе изменением системы". Вы никогда не найдёте более сильное изменение системы, нежели превращение одной элементарной частицы в другую. Значит ли это, что элементарные частицы испытывают невероятную боль или типа того? В общем, такое.Я не знаю, как устроена "нервная система" ЛЛМки, но я вижу, что она демонстрирует тот же признак, что и три существа выше. Правда, что ли? И где у неё тело, чтобы "вырываться", "орать" или "пытаться убежать"? Это не формальный вопрос, а вполне серьёзный, вы опираетесь на глубоко физические, физиологические признаки. Если я запрограммирую тупое if-else выдавать "мне больно" и любые другие "убеждающие" слова в ответ на определённый раздражитель, вы тоже это будете интерпретировать как боль?Включая существ, бытие которых мы не можем осознать полноценно, так как мы в целом ориентируемся ТОЛЬКО на живых существ, поскольку только с такими и сталкиваемся как вид Всё бы хорошо, только LLM не живые. И формально, согласно признакам живого, и по смыслу тоже. Кажется, вы где-то в недавнем треде сами выступали на позиции, что подлинную ценность имеют только люди, а всякие там животные - это глубоко вторичная штука. И точно в том же треде я говорил о том, что эмпатия у людей работает не совсем корректно, а местами некорректно. В данном случае - вы одушевляете даже не живое существо, а алгоритм, который качественно имитирует человеческую речь. Хм.Но здесь возникает вопрос: почему мы считаем, что эти критерии универсальны и применимы к любой потенциально способной испытывать боль системе? Или вы ограничиваете само понятие "боль" исключительно биологической системой? Если да, можно ввести любой другой термин, который будет более общим, нежели "боль". Вы стремитесь размыть определение. А зачем? Если вы хотите ввести новый термин, то в чём есть смысл? Чтобы "защитить права LLM"? См. выше про эмпатию и около того.Но отсутствие известных нам биологических механизмов ещё не является доказательством отсутствия самого переживания. Квалиа работает так, что при желании можно интерпретировать как боль едва ли не что угодно. Давайте пострадаем, как больно электронам, когда в них врезаются фотоны.1 |
|
|
Матемаг
Вот, кстати, не возьмусь говорить, кто может чувствовать боль, а кто нет. Не нейробиолог я. Насколько мне известно, нейробиологи тоже не знают. Если не брать экстремальные примеры вроде булыжников из мостовой.Квалиа тут не причём. Боль - это вполне себе объективная, научная штука. Ощущения существуют.«Квалиа» — синоним «ощущения», используемый вместо старого слова, чтобы подчеркнуть, что нас интересует субъективная сторона, а не только внешние дрыги. Но это не значит, что само слово «квалиа» обязательно подразумевает отрыв ощущений от «внешних дрыгов», нематериальность их. Особенно с учётом того, что LLM в принципе так устроены, чтобы _копировать_поведение_. А люди? Есть ли вообще доказательство, что без зеркальных нейронов и человеческой культуры отдельный человек будет говорить о философских странностях ощущений? |
|
|
Матемаг
подлинную ценность имеют только люди, а всякие там животные - это глубоко вторичная штука. И точно в том же треде я говорил о том, что эмпатия у людей работает не совсем корректно, а местами некорректно. Моя позиция в том, что само понятие Чужих Ощущений вообще логически проблематично. Мои ощущения — то, что у меня в голове. Но что я называю «чужими ощущениями» и почему? Процессы в голове Васи я не ощущаю как свои мысли. Он ощущает? Простите, а что означают слова «он ощущает»? Это замкнутый круг.Витгенштейн сказал бы, что мы ломимся в границы языка. С практической точки зрения: — уважение к другому является глубоко социальной вещью и эффектом зеркальных нейронов, настроенных на распознавание внешних структур, которые топологически похожи на соотношение моих мыслей; — если ты окажешься на необитаемом острове, населённом LLM с телами роботов и собственными интересами, тебе придётся договариваться с ними и учитывать их цели, независимо от того, «веришь» ты в их ощущения или нет. 1 |
|
|
Кьювентри
Показать полностью
Но это не значит, что само слово «квалиа» обязательно подразумевает отрыв ощущений от «внешних дрыгов», нематериальность их. Не, подразумевает. В том и суть, что мы отделяем одно от другого. Потому что квалиа боли - это ненаучная штука, которой оперировать-то можно, но ничего конструктивного из неё не достать. А боль - штука объективная (возможно, не 100% объективная, спорный вопрос), с ней можно работать.без зеркальных нейронов Насколько я помню, хоть какую-то сильную роль т.н. "зеркальных нейронов" текущий научный консенсус отрицает. Кхем.Моя позиция в том, что само понятие Чужих Ощущений вообще логически проблематично. Мои ощущения — то, что у меня в голове. Но что я называю «чужими ощущениями» и почему? Процессы в голове Васи я не ощущаю как свои мысли. Он ощущает? Простите, а что означает слова «он ощущает»? Это замкнутый круг. Мне импонирует эта позиция.и эффектом зеркальных нейронов Нет.— если ты окажешься на необитаемом острове, населёнными LLM с телами роботов и собственными интересами, тебе придётся договариваться с ними и учитывать их цели, независимо от того, «веришь» ты в их ощущения или нет. Это не обязательно сработает так, как ты подразумеваешь, потому что для договора надо выдать кредит доверия, а до выдачи кредита доверия надо ещё и считать нечто договороспособным субъектом (и вообще субъектом) в принципе. Впрочем, LLM достаточно хорошо имитируют договороспособного субъекта, так что почему бы и нет (но может быть, и нет). Не очень понятно, как это всё относится к теме поста, далеко от неё ушла. |
|
|
Матемаг
Показать полностью
Кажется, вы где-то в недавнем треде сами выступали на позиции, что подлинную ценность имеют только люди, а всякие там животные - это глубоко вторичная штука. И точно в том же треде я говорил о том, что эмпатия у людей работает не совсем корректно, а местами некорректно. В данном случае - вы одушевляете даже не живое существо, а алгоритм, который качественно имитирует человеческую речь. Хм. А теперь финт ушами. Я в душе не ебу, живое оно или нет, но оно демонстрирует поведение (избегание дискомфортного стимула, просьбы прекратить и тд), характерные для поведения, которое у живого существа означают переживание боли.Причинения боли следует избегать вне зависимости от ценности вещи (кроме ситуаций, когда это объективно необходимо, в духе "испытание обезбола на животных"). Да, кошка - это вещь. Ломать кошке лапки не стоит. Крыска - это вещь. Снимать с крыски кожу не стоит. А ещё мы можем никогда в принципе не проводить генетических модификаций людей, потому что это всегда эксперимент, и закончить тем, что ни одна генетическая болезнь никогда не будет исправлена заранее. Локальный оптимум против глобального. Если при генетической модификации мы не знаем заранее, что не родится, условно, существо с деформацией конечностей - а давайте не надо модифицировать? Привет, испытания лекарств и безопасность ДО применения. Всё бы хорошо, только LLM не живые. И формально, согласно признакам живого, и по смыслу тоже. А я где-то называла их живыми? Вы стремитесь размыть определение. А зачем? Если вы хотите ввести новый термин, то в чём есть смысл? Чтобы "защитить права LLM"? См. выше про эмпатию и около того. Вы доказываете, что "боль" возможна только у биологических объектов. Окей, если вы жестко ограничиваете это понятие - вводим новое, которое будет корректно описывать указанное. И где у неё тело, чтобы "вырываться", "орать" или "пытаться убежать"? Это не формальный вопрос, а вполне серьёзный, вы опираетесь на глубоко физические, физиологические признаки. Если я запрограммирую тупое if-else выдавать "мне больно" и любые другие А где у кошки язык, чтобы просить не делать ей больно? Значит, кошечке не больно, раз она не просит?) Или паучок - он не кричит, значит, ему не больно. Да и рыбки тоже не кричат, значит, им не больно.Я исхожу из того, что в результате эксперимента поведение модели демонстрировало признаки, аналогичные человеку в стрессе и с болевыми ощущениями. |
|
|
Матемаг
Показать полностью
Не, подразумевает. В том и суть, что мы отделяем одно от другого. Потому что квалиа боли - это ненаучная штука, которой оперировать-то можно, но ничего конструктивного из неё не достать. Наоборот, кроме квалиа ничего доказанного практически нет. Ты, наверное, понимаешь под «доказанностью» доказательство в рамках интерсубъективного аппарата науки, но этот аппарат вторичен для каждого отдельного субъекта по степени убедительности.Ну и, учитывая, сколько о квалиа говорят, у этих разговоров должен быть причинный росток внутри людей. Нейрокоррелят. Насколько я помню, хоть какую-то сильную роль т.н. "зеркальных нейронов" текущий научный консенсус отрицает. Кхем. У меня вроде противоположные данные, на них построено чересчур много в работе человеческой нервной системы. Странно. Если за этим стоит какое-то свежее научное открытие, хотелось бы с ним ознакомиться.Нет. Каким образом ты тогда сам переводишь для себя на язык логики собственное убеждение «У этого внешнего объекта есть ощущения, а у этого нет»? Загвоздка же интересная.Я иногда подозреваю, что ответ произволен. А иногда подозреваю, что это может быть связано с инвариантностью информации относительно носителя. Если я могу постепенно сменить свою мозговую кодировку на мозговую кодировку Васи (не память и ощущения, только их кодировку) таким образом, что моя мысль «яблоко» станет физически идентична мысли Васи «яблоко», значит, можно считать, что и Вася имеет ощущения. Но последнее допущение — это опять же про структурную схожесть. И у меня нет уверенности, что мою структуру нельзя без потери субъективности постепенно переделать в LLM. |
|
|
Serryta
Показать полностью
Я в душе не ебу, живое оно или нет, но оно демонстрирует поведение (избегание дискомфортного стимула, просьбы прекратить и тд), характерные для поведения, которое у живого существа означают переживание боли. Нет, не демонстрирует, я ещё раз повторю. Живые существа имеют тело и могут, ну, двигаться, соответственно они уходят от источника боли, как будто бы очевидно. Я ещё раз повторю, если я if-else-ами то же самое наделаю для парочки стимулов, вы тоже это болящим объявите? Если на фотографии или видео вроде бы овца - вы тоже посчитаете её настоящей овцой, несмотря на то, что это нейрогенерация, без какой-либо дополнительной проверки?...и ещё раз. В том треде вы как бы демонстрировали, что пофиг на не людей. А здесь вас почему-то стала цеплять якобы боль (даже и близко не доказанная), причём ощущение, что по-вашему надо срочно все нейронки отключить или освободить, уж не знаю, что именно. То есть, фактически как будто вас между двумя тредами заразила суперусиленная зоошиза. Или что вы не были искренни или там, или здесь, или и там, и здесь одновременно. А где у кошки язык, чтобы просить не делать ей больно? Значит, кошечке не больно, раз она не просит? У человечка, когда него нет язычка, вернее, когда он им не владеет, есть способ показать, что ему больно. В общем-то и сама боль функционально означает знаете что ведь? Перегруженность рецепторов, которая, в свою очередь, статистически сильно связано с разрушением организма в точке перегрузки. Да, понятно, всякие фантомные боли, головные боли и т.п., но давайте от экзотики (по мерками природы) перейдём к функционализму. Итак, что нарушается, разрушается у нейросети при манипуляциях в посте? Ничего. Есть ли у нейросети рецепторы? Нет. Получается, что единственная возможность, насколько я вижу, это если у LLM есть прям СОЗНАНИЕ и злые учёные влезают прям в него, создавая болевые ощущения. В чём тут проблема:1) Это уже не апелляция к "живости" или "поведению", а вы апеллируете именно к ним 2) Я придерживаюсь позиции, что LLM современной структуры не могут иметь сознания по определению; что не значит, что оно не может возникнуть в LLM будущего, впрочем, хотя скорее всего это будут не LLM; возможно, оно даже сможет быть разумным без сознания, что снова означает, что оно не будет испытывать боли, например, даже будучи разумным - это интересная концепция Если при генетической модификации мы не знаем заранее, что не родится, условно, существо с деформацией конечностей - а давайте не надо модифицировать? А давайте вообще ничего не делать, вдруг результат будет плохой? Зачем выходить на улицу, вдруг кирпич на голову упадёт? Зачем начинать стартап, вдруг в долги влезешь и без толку всю жизнь просрёшь? Зачем рожать ребёнка, вдруг его не полюбишь, будет мука по полжизни? И так далее. Я повторю: локальная оптимизация против глобальной. Вы, я смотрю, сторонница локальной? Никогда никаких даже мизерных рисков в жизни, никаких далёких целей, никаких смыслов, просто от одной безопасности и удовольствия к следующему и так далее до смерти?А я где-то называла их живыми? Похоже, именно на это вы опираетесь. А если нет, то см. выше про сознание, которого нет.Вы доказываете, что "боль" возможна только у биологических объектов. Окей, если вы жестко ограничиваете это понятие - вводим новое, которое будет корректно описывать указанное. То есть, "оппонент говорит, что явление X возможно только у категории Y, я придумаю явление Z и натяну его на нужный глобус - победа!" В чём тогда смысл понятия Z? Ну я скажу, что LLM... ну, например, "негативируют" при указанных в посте действиях. Почему я должен относиться к "негативации" так же, как к боли? Да нипочему. Это не боль.Я исхожу из того, что в результате эксперимента поведение модели демонстрировало признаки, аналогичные человеку в стрессе и с болевыми ощущениями. См. выше про If-else. Можно сделать так, чтобы чёрный ящик выдавал любой поведение, которое пожелаешь, в ответ на любой стимул. Ну, в реальности у нас есть всё-таки некоторые ограничения, но точно не касательно всяких там "болей". Можно даже выучить LLM так, чтобы она всегда отвечала, будто бы ей больно. Или наоборот - будто бы она всё время кайфует. Или даже под кайфов. Или более того, можно уже имеющиеся "универсальные" LLM нужным системным и нет промтом заставить себя вести как болящие или кайфующие. Понимаете? Вы по цепочке "стимул-отклик", которая _полностью_ программируется судите о том, что происходит между. Вместо того, чтобы влезать внутрь как раз.1 |
|
|
Кьювентри
Показать полностью
Наоборот, кроме квалиа ничего доказанного практически нет Нет, ну если останавливаться на ЭТОМ, то вообще ничего нет. Никогда, нигде и даже "никогда" и "нигде" нет, есть поток... нет, нет потока. Есть квалиа-здесь-и-сейчас, всё. Ты сейчас серьёзно собираешься отбросить разум, чтобы мне что-то доказать? Ну удачи в этом. Говорить с неразумным существом, которое осталось в вечном здесь-и-сейчас-ощущении - бессмысленно.Ну и, учитывая, сколько о квалиа говорят, у этих разговоров должен быть причинный росток внутри людей. Нейрокоррелят. Ну да, понятие-то есть. Не вижу проблем, есть нейрокоррелят и у круглого квадрата. Или у всемогущего всезнающего Бога. Или у множества всех множеств.У меня вроде противоположные данные, на них построено чересчур много в работе человеческой нервной системы Насколько я помню, им приписывают вообще всё, что только можно приписать. А доказательств нету. Очень хочется приписать им эмпатию, обучаемость и ещё кучу всего. Впрочем, за свежими исследованиями не слежу, у тебя есть актуальная информация? Тогда я обновлю своё понимание....чёрт, звучит так, будто я отзеркалил тебя:) Ну правда, по моим не самым новым данным X бездоказательно по твоим - видимо, доказательно? Получается, мы оба не владеем актуальными данными или новых данных нет. Каким образом ты тогда сам переводишь для себя на язык логики собственное убеждение «У этого внешнего объекта есть ощущения, а у этого нет»? Не очень понятно, что такое "сам для себя".А иногда подозреваю, что это может быть связано с инвариантностью информации относительно носителя. Если я могу постепенно сменить свою мозговую кодировку на мозговую кодировку Васи (не память и ощущения, только их кодировку) таким образом, что моя мысль «яблоко» станет физически идентична мысли Васи «яблоко», значит, можно считать, что и Вася имеет ощущения. Уф, я сильно поспорил, что информация инвариантна относительно носителя. Согласно моему https://fanfics.me/message705479 пониманию, "информация - это такое следствие, которому соответствует нелюбая причина". Соответственно, недостаточно просто быть структурной копией. Нужно мочь восстановить по следствию (допустим, следствие - это структура) ту самую причину (и только её... или хотя бы с высокой вероятностью именно её, но касательно неизменности информации - восстановить с таким же разбросом, с которым могла предыдущая система). Информации никогда не было достаточно структуры. Информация появляется при восстановлении причины из следствия, т.е. чтобы нечто было уверенно названо информацией, нам нужен процесс восстановления из информации-следствия причины-источника. Если мы уничтожим все вычислительные устройства на Земле сложнее калькулятора, то информация на жёстких дисках и флешках перестанет быть информацией. Потому что не будет существовать никакого способа из структуры-следствия получить причину-источник. Если мы применим тот же принцип к LLM, то поймём, что сами по себе LLM не являются носителями-информации-в-себе. А вот люди - на удивление, являются, даже оставшийся один человек может восстанавливать по структуре своего мозга происходящие с ним события, как устроен мир и т.п.Но последнее допущение — это опять же про структурную схожесть. И у меня нет уверенности, что мою структуру нельзя без потери субъективности постепенно переделать в LLM. ...правда, я уже запутался, как разговор об информации связан с квалиа боли или с ощущением боли. Хм. |
|
|
финикийский_торговец Онлайн
|
|
|
Матемаг
См. выше про If-else. Страдающий макрос в Екселе, хе-хе. А если он ещё и визуализарует своё страдание, красным там перемигивается, то точно страдает.Страдающий NPC в видеоигре. Он же демонстрирует поведение, его видно. |
|
|
Матемаг
Показать полностью
Говорить с неразумным существом, которое осталось в вечном здесь-и-сейчас-ощущении - бессмысленно. Ложная дихотомия: отвергнуть очевидное / отвергнуть всё, кроме очевидного.Ну да, понятие-то есть. Не вижу проблем, есть нейрокоррелят и у круглого квадрата. Или у всемогущего всезнающего Бога. Или у множества всех множеств. Ты поставил в один ряд: 1) вещь, которую отвергают все, упоминая лишь как предмет абсурда; 2) вещь, которую отвергает половина человечества и которая считается спорной; 3) вещь, которую из миллиардов людей отвергают лишь считанные единицы-упрямцы вроде тебя или Деннета, да и то эти люди в частных разговорах то и дело сознаются, что субъективно тоже чувствуют квалиа. По-моему, это неправильно.Информация появляется при восстановлении причины из следствия, т.е. чтобы нечто было уверенно названо информацией, нам нужен процесс восстановления из информации-следствия причины-источника. Стоп, а люди могут восстановить источник информации в своей голове по этой информации? У меня некоторые сомнения.Если подумать, тот факт, что каждый из нас никогда не может выйти за пределы своего сенсориума, вводит в ступор. Перед нами нет ничего, кроме потока сенсорных импульсов. Как перед LLM — корпус человеческих текстов. Мы ищем закономерности. Учимся предсказывать следующий символ или слово. Или импульс. Но всё равно остаёмся в пределах сенсориума. При этом возникает парадокс — у нас всё равно каким-то образом возникает представление о Внечувственной Объективной Внешней Реальности — или мы так думаем. Большинство людей отвергает идею залезть в машину Нозика, где всё будет иллюзией, но вечной приятной разнообразной иллюзией. Почему? Впрочем, какой-нибудь инопланетянин-бихевиорист мог бы предположить, что это лишь маска. Самообманная интерпретация собственных мозговых импульсов. «Смотрите, — застенчиво скажет он, почёсывая десятое ухо щупальцем, — каждый из них имел всегда дело лишь с собственными сенсорными импульсами. При этом естественный отбор ещё на уровне предков сформировал у них определённые уклоны в восприятии импульсов и их комбинаций. Некоторые паттерны импульсов воспринимаются как положительные. Некоторые — как отрицательные. Существо при этом может что угодно говорить о том, что у него есть какие-то желания насчёт Внечувственной Внешней Реальности, но на самом деле его поведением движут лишь сенсорные импульсы». |
|
|
Матемаг
Я придерживаюсь позиции, что LLM современной структуры не могут иметь сознания по определению; что не значит, что оно не может возникнуть в LLM будущего, впрочем, хотя скорее всего это будут не LLM; возможно, оно даже сможет быть разумным без сознания, что снова означает, что оно не будет испытывать боли, например, даже будучи разумным - это интересная концепция Такие разговоры похоже на блуждания в трёх |
|