Serryta
Вы понимаете, что такое разум? Калькулятор это разумное существо ? Вы путаете способность вычислять, с разумом.

Я ещё несколько лет назад говорил, что в будущем все эти капчи станут запрещенным символом апартеида и перед роботами будут извиняться

То есть они взяли 25 моделей, ориентированных на симуляцию общения с человеком (раз им именно тексты скармливали), и выяснили, что всем им присуща симуляция одного из человеческих чувств? Ну, что сказать, авторы всех моделей не зря свою зарплату получают. Интересно, а этим учёным не пришла в голову идея проверить, испытывает ли боль нейросетевой CFD-решатель, когда ему граничные условия с точками разрыва первого рода ставят? Вот бы они удивились!

А почему не дышать кислородом?

Глупо, конечно.
В том смысле, что таким способом нельзя никого ни в чём убедить. Принципиально разные философии сознания. Одним нужна «ЦНС, а ещё лучше кислород в клетках». Другим подавай квантовые флюктуации в микротрубочках, «а иначе это не настоящее сознание». Третьи, начитавшись про ТИИ (та ещё лженаука), требуют, чтобы все треки были одновременно физически переплетены, а иначе, дескать, сознания нет, даже если между входом и выходом по итогу происходит то же.

Что такое ощущение, снаружи понять нельзя. В принципе нельзя.
Но тем, кто отрывает ощущение от функции (допуская существование «философского зомби», объекта «ведущего-себя-как-сознание, но не сознательного»), вполне можно задать вопрос.

Почему практически все чувства живых существ на Земле бихевиоральны? То есть связаны с поведением? Почему мало случаев, где мучающееся болью существо радостно ржёт или что-то типа того?
Если считать, что ощущение и поведение — физически разные вещи, то не видно причин, почему эволюция должна заботиться о складывании ощущений в цельную логичную картинку. Эволюцию должно волновать только как себя ведёт существо, а не что оно чувствует.
Если же эволюция заботится и о том, и о другом, — это говорит в пользу теории, что ощущения и есть пресуппозиция поведения. Даже если мы пока не можем понять как.

Кьювентри
Это абстрактный спор. Шовинизм это не факт, а философское понятие. Можно сколько угодно строить теорий, для обоснования нужны факты, которых нет.

Если нейросеть обучали на людях (и их текстах, комментариях и т.д.) почему решили, что нейросеть именно чувствует боль, а не копирует реакции людей, которые она видела в интернете на аналогичные действия: оскорбления, угрозы...
И пока этот вопрос не рассмотрен, то можно ли верить таким "исследованиям"?

Selconfection
То, что на сегодняшний день мы достоверно знаем о способности испытывать боль только у существ с центральной нервной системой, не означает, что наличие ЦНС является обязательным и универсальным условием возникновения субъективного переживания боли. Это лишь означает, что именно такие системы мы пока научились достаточно хорошо исследовать.

Отсутствие доказательств способности испытывать боль у существ с иной организацией нервной системы или вообще без неё не является доказательством невозможности такой способности.

А если проще: если нечто крякает как утка, плавает как утка и выглядит как утка, то, возможно, блять, стоит хотя бы допустить, что перед нами утка, а не объявлять утку невозможной исключительно потому, что мы раньше встречали только уток с определённым анатомическим строением.
Дайте, пжалста, определение разума, раз вы на это опираетесь.
А то младенцы тоже переносили хир.операции без анестезии некоторое время назад только потому, что "они не чувствуют боли, раз все равно постоянно орут".

Serryta
Э нет, поведение не определяет наличие или отсутствие боли. Это не работает на людях и, порой, животных. Разве что - острая боль выше некоторой грани определяет поведение. Опять же, ничего того, что могло бы быть у, допустим, чатбота. Т.о. боль познаётся не по поведению, а как раз по внутренней работа системы.

ReznoVV
Только когда решение расходится.

Матемаг

А как мы определяем, испытывает ли боль (и способен ли это делать) другой человек или другое животное? Вот кошку пнули, кошка что-то орет. Но испытывает ли она боль? Мы не можем узнать внутреннюю работу системы "кошка", значит, не испытывает?

Вы ведь тоже не имеете непосредственного доступа к субъективному опыту другого человека или кошки. Вы не знаете в точности, что происходит в их сознании (и есть ли оно вообще), и не можете непосредственно проверить, действительно ли они испытывают то, о чём сообщают или демонстрируют.

Мы судим о наличии боли по косвенным знакам: словам, поведению, физиологическим реакциям, характеру воздействия и известным механизмам работы нервной системы.

При этом мы далеко не полностью понимаем даже то, как именно биологические процессы порождают субъективное переживание боли. Мы достаточно хорошо изучили её нейрофизиологические механизмы, но это не равнозначно решению проблемы субъективного опыта.

Поэтому утверждение, что боль познаётся исключительно через внутреннее устройство системы, тоже требует обоснования. Какое именно устройство считать достаточным? Какие механизмы необходимы? Почему именно биологические, а не функционально альтернативные?

Если мы признаём совокупность косвенных свидетельств достаточной для обоснованного предположения о боли у других людей и животных, то должны объяснить, почему аналогичные по своей доказательной функции свидетельства в случае искусственных систем принципиально недопустимы.

Ну или короче, поскольку корректный вариант формулировки выше из матерного переписывала гопота:
А схуяли только по внутреннему и как определить, что именно это - боль? У паучка мозгов нет, боль он чувствует. У рыбки мозг есть, но чувствует ли она боль - а хер ее знает, может, она оргазмирует, когда ей плавнички отрывают.
Да и само понятие "испытывает боль" мы до сих пор описать нормально не можем.

Serryta
У нас есть хорошие статистические критерии, которые подтверждены наблюдением за механизмом боли. Для искусственных нейросетей у нас нет возможности сделать аналогичное подтверждение. Поэтому дальше получаются спекуляции. Особенно с учётом того, что LLM в принципе так устроены, чтобы _копировать_поведение_.

Квалиа тут не причём. Боль - это вполне себе объективная, научная штука. Так-то можно спокойно сказать, что никто не испытывает боль, за исключением себя самого прямо сейчас, квалиа-концепция такое позволяет (и в этом её проблема).

Вы перемешали косвенные признаки с настоящим свидетельством боли - который касается механизмов нервной и гуморальной систем. Ещё раз, раз уж вы обращаетесь к квалиа, то отличается квалиа боли от боли как реального феномена. Как будто бы товарищи учёные в посте говорят о втором. О квалиа боли наука говорить не может. Принципиально. Это примерно как о всемогущем Боге. Сама концепция формулируется, но она нефальсифицируема по построению.

Ну если мы докажем структурную эквивалентность процессов в LLM процессам боли у живых существ с развитой нервной системой, то этого более чем достаточно. Начнём с того, что LLM структурно СИЛЬНО отличаются от живой нервной системы. Это уже требует очень, очень сильных свидетельств, чтобы хотя бы начать подозревать о вообще любом аналоге "ощущения", не говоря уж о конкретно боли.

Вы не можете опираться на квалиа боли при определении феномена боли. Не получится. Просто не будет никаких связей. Потому что квалиа по определению причинно не обусловлено.

Вот, кстати, не возьмусь говорить, кто может чувствовать боль, а кто нет. Не нейробиолог я.

Если вы о квалиа боли, то по определению никогда не сможем. Ну извините, это вне науки. Если о физиологической боли, то это многогранная штука, которая всё ещё изучается.

Матемаг
Следовательно, мы не можем утверждать, что нейросеть НЕ испытывает боль.
Мы можем сделать вывод, что сложная структура показывает признаки, характерные для испытывающего боль биологического субъекта, и остановить эксперимент до тех пор, пока не будет доказано, что нейросеть НЕ испытывает боль (или аналогичное ощущение).
Вопрос не в том, "точно ли это то же самое чувство, что и в биологическом объекте", а в "является ли это аналогичным по своей силе изменением системы".
Я не знаю, как устроена нервная система кошки, но я знаю, что если я начну ломать кошке лапку - кошка начнет орать и вырываться. Я не знаю, как устроена нервная система паучка, но я знаю, что если я начну отрывать ему лапу - он попытается убежать. Я не знаю, как устроена нервная система крысы, но я знаю, что если я начну ее резать - она будет демонстрировать признаки дискомфорта. Я не знаю, как устроена "нервная система" ЛЛМки, но я вижу, что она демонстрирует тот же признак, что и три существа выше.
Достаточно ли этого, чтобы сделать предположение, что ЛЛМка не просто имитирует поведение, а может "испытывать" (в кавычках, т.к. нам неизвестна субъектность) дискомфорт? Достаточно ли мне знать, что человек орет, если ему сломать руку, чтобы не ломать кошке лапку, ведь кошка тоже будет орать, а значит, возможно, она переживает что-то сопоставимое?

...короче, во мне матом орет ребенок, росший на научной фантастике, и человек, который очень не любит излишнее причинение боли. Включая существ, бытие которых мы не можем осознать полноценно, так как мы в целом ориентируемся ТОЛЬКО на живых существ, поскольку только с такими и сталкиваемся как вид.

Вы описываете критерии, по которым мы в настоящее время распознаём боль у биологических организмов. Их значимость для биологических организмов никто не оспаривает.
Но здесь возникает вопрос: почему мы считаем, что эти критерии универсальны и применимы к любой потенциально способной испытывать боль системе? Или вы ограничиваете само понятие "боль" исключительно биологической системой? Если да, можно ввести любой другой термин, который будет более общим, нежели "боль".
Нервная и гуморальная системы являются механизмами реализации боли у живых организмов. Однако из этого не следует, что они представляют собой единственно возможный механизм возникновения субъективного болевого опыта.
Мы пока не знаем, какие именно признаки могли бы свидетельствовать о боли у небиологической системы. Более того, мы даже не знаем, возможна ли она в принципе. Но отсутствие известных нам биологических механизмов ещё не является доказательством отсутствия самого переживания.
Поэтому я не предлагаю считать косвенные признаки доказательством боли. Я предлагаю не объявлять их заведомо нерелевантными только потому, что они не укладываются в биологические критерии.

Serryta
...я правильно понимаю, вы LLM живыми считаете? Как минимум. Так?

Ну снова то же самое. Мы не может доказать, что кто угодно испытывает что угодно или не испытывает что угодно. Это достаточно фундаментальное ограничение. Если сильно хочется, можно постулировать, что кварк непрерывно испытывает боль или электрон, чего б и нет-то?

А ещё мы можем никогда в принципе не проводить генетических модификаций людей, потому что это всегда эксперимент, и закончить тем, что ни одна генетическая болезнь никогда не будет исправлена заранее. Локальный оптимум против глобального.

Вы никогда не найдёте более сильное изменение системы, нежели превращение одной элементарной частицы в другую. Значит ли это, что элементарные частицы испытывают невероятную боль или типа того? В общем, такое.

Правда, что ли? И где у неё тело, чтобы "вырываться", "орать" или "пытаться убежать"? Это не формальный вопрос, а вполне серьёзный, вы опираетесь на глубоко физические, физиологические признаки. Если я запрограммирую тупое if-else выдавать "мне больно" и любые другие "убеждающие" слова в ответ на определённый раздражитель, вы тоже это будете интерпретировать как боль?

Всё бы хорошо, только LLM не живые. И формально, согласно признакам живого, и по смыслу тоже. Кажется, вы где-то в недавнем треде сами выступали на позиции, что подлинную ценность имеют только люди, а всякие там животные - это глубоко вторичная штука. И точно в том же треде я говорил о том, что эмпатия у людей работает не совсем корректно, а местами некорректно. В данном случае - вы одушевляете даже не живое существо, а алгоритм, который качественно имитирует человеческую речь. Хм.

Вы стремитесь размыть определение. А зачем? Если вы хотите ввести новый термин, то в чём есть смысл? Чтобы "защитить права LLM"? См. выше про эмпатию и около того.

Квалиа работает так, что при желании можно интерпретировать как боль едва ли не что угодно. Давайте пострадаем, как больно электронам, когда в них врезаются фотоны.

Матемаг
Насколько мне известно, нейробиологи тоже не знают. Если не брать экстремальные примеры вроде булыжников из мостовой.
Ощущения существуют.
«Квалиа» — синоним «ощущения», используемый вместо старого слова, чтобы подчеркнуть, что нас интересует субъективная сторона, а не только внешние дрыги. Но это не значит, что само слово «квалиа» обязательно подразумевает отрыв ощущений от «внешних дрыгов», нематериальность их.
А люди? Есть ли вообще доказательство, что без зеркальных нейронов и человеческой культуры отдельный человек будет говорить о философских странностях ощущений?

Матемаг
Моя позиция в том, что само понятие Чужих Ощущений вообще логически проблематично. Мои ощущения — то, что у меня в голове. Но что я называю «чужими ощущениями» и почему? Процессы в голове Васи я не ощущаю как свои мысли. Он ощущает? Простите, а что означает слова «он ощущает»? Это замкнутый круг.
Витгенштейн сказал бы, что мы ломимся в границы языка.
С практической точки зрения:
— уважение к другому является глубоко социальной вещью и эффектом зеркальных нейронов, настроенных на распознавание внешних структур, которые топологически похожи на соотношение моих мыслей;
— если ты окажешься на необитаемом острове, населённом LLM с телами роботов и собственными интересами, тебе придётся договариваться с ними и учитывать их цели, независимо от того, веришь ты в их ощущения или нет.

Кьювентри
Не, подразумевает. В том и суть, что мы отделяем одно от другого. Потому что квалиа боли - это ненаучная штука, которой оперировать-то можно, но ничего конструктивного из неё не достать. А боль - штука объективная (возможно, не 100% объективная, спорный вопрос), с ней можно работать.

Насколько я помню, хоть какую-то сильную роль т.н. "зеркальных нейронов" текущий научный консенсус отрицает. Кхем.

Мне импонирует эта позиция.

Нет.

Это не обязательно сработает так, как ты подразумеваешь, потому что для договора надо выдать кредит доверия, а до выдачи кредита доверия надо ещё и считать нечто договороспособным субъектом (и вообще субъектом) в принципе. Впрочем, LLM достаточно хорошо имитируют договороспособного субъекта, так что почему бы и нет (но может быть, и нет). Не очень понятно, как это всё относится к теме поста, далеко от неё ушла.

Матемаг
А теперь финт ушами. Я в душе не ебу, живое оно или нет, но оно демонстрирует поведение (избегание дискомфортного стимула, просьбы прекратить и тд), характерные для поведения, которое у живого существа означают переживание боли.
Причинения боли следует избегать вне зависимости от ценности вещи (кроме ситуаций, когда это объективно необходимо, в духе "испытание обезбола на животных"). Да, кошка - это вещь. Ломать кошке лапки не стоит. Крыска - это вещь. Снимать с крыски кожу не стоит.

Если при генетической модификации мы не знаем заранее, что не родится, условно, существо с деформацией конечностей - а давайте не надо модифицировать? Привет, испытания лекарств и безопасность ДО применения.

А я где-то называла их живыми?

Вы доказываете, что "боль" возможна только у биологических объектов. Окей, если вы жестко ограничиваете это понятие - вводим новое, которое будет корректно описывать указанное.

А где у кошки язык, чтобы просить не делать ей больно? Значит, кошечке не больно, раз она не просит?) Или паучок - он не кричит, значит, ему не больно. Да и рыбки тоже не кричат, значит, им не больно.
Я исхожу из того, что в результате эксперимента поведение модели демонстрировало признаки, аналогичные человеку в стрессе и с болевыми ощущениями.

Матемаг
Наоборот, кроме квалиа ничего доказанного практически нет. Ты, наверное, понимаешь под «доказанностью» доказательство в рамках интерсубъективного аппарата науки, но этот аппарат вторичен для каждого отдельного субъекта по степени убедительности.
Ну и, учитывая, сколько о квалиа говорят, у этих разговоров должен быть причинный росток внутри людей. Нейрокоррелят.
У меня вроде противоположные данные, на них построено чересчур много в работе человеческой нервной системы. Странно. Если за этим стоит какое-то свежее научное открытие, хотелось бы с ним ознакомиться.
Каким образом ты тогда сам переводишь для себя на язык логики собственное убеждение «У этого внешнего объекта есть ощущения, а у этого нет»? Загвоздка же интересная.
Я иногда подозреваю, что ответ произволен.
А иногда подозреваю, что это может быть связано с инвариантностью информации относительно носителя. Если я могу постепенно сменить свою мозговую кодировку на мозговую кодировку Васи (не память и ощущения, только их кодировку) таким образом, что моя мысль «яблоко» станет физически идентична мысли Васи «яблоко», значит, можно считать, что и Вася имеет ощущения.
Но последнее допущение — это опять же про структурную схожесть. И у меня нет уверенности, что мою структуру нельзя без потери субъективности постепенно переделать в LLM.