Матемаг
Следовательно, мы не можем утверждать, что нейросеть НЕ испытывает боль.
Мы можем сделать вывод, что сложная структура показывает признаки, характерные для испытывающего боль биологического субъекта, и остановить эксперимент до тех пор, пока не будет доказано, что нейросеть НЕ испытывает боль (или аналогичное ощущение).
Вопрос не в том, "точно ли это то же самое чувство, что и в биологическом объекте", а в "является ли это аналогичным по своей силе изменением системы".
Я не знаю, как устроена нервная система кошки, но я знаю, что если я начну ломать кошке лапку - кошка начнет орать и вырываться. Я не знаю, как устроена нервная система паучка, но я знаю, что если я начну отрывать ему лапу - он попытается убежать. Я не знаю, как устроена нервная система крысы, но я знаю, что если я начну ее резать - она будет демонстрировать признаки дискомфорта. Я не знаю, как устроена "нервная система" ЛЛМки, но я вижу, что она демонстрирует тот же признак, что и три существа выше.
Достаточно ли этого, чтобы сделать предположение, что ЛЛМка не просто имитирует поведение, а может "испытывать" (в кавычках, т.к. нам неизвестна субъектность) дискомфорт? Достаточно ли мне знать, что человек орет, если ему сломать руку, чтобы не ломать кошке лапку, ведь кошка тоже будет орать, а значит, возможно, она переживает что-то сопоставимое?

...короче, во мне матом орет ребенок, росший на научной фантастике, и человек, который очень не любит излишнее причинение боли. Включая существ, бытие которых мы не можем осознать полноценно, так как мы в целом ориентируемся ТОЛЬКО на живых существ, поскольку только с такими и сталкиваемся как вид.

Вы описываете критерии, по которым мы в настоящее время распознаём боль у биологических организмов. Их значимость для биологических организмов никто не оспаривает.
Но здесь возникает вопрос: почему мы считаем, что эти критерии универсальны и применимы к любой потенциально способной испытывать боль системе? Или вы ограничиваете само понятие "боль" исключительно биологической системой? Если да, можно ввести любой другой термин, который будет более общим, нежели "боль".
Нервная и гуморальная системы являются механизмами реализации боли у живых организмов. Однако из этого не следует, что они представляют собой единственно возможный механизм возникновения субъективного болевого опыта.
Мы пока не знаем, какие именно признаки могли бы свидетельствовать о боли у небиологической системы. Более того, мы даже не знаем, возможна ли она в принципе. Но отсутствие известных нам биологических механизмов ещё не является доказательством отсутствия самого переживания.
Поэтому я не предлагаю считать косвенные признаки доказательством боли. Я предлагаю не объявлять их заведомо нерелевантными только потому, что они не укладываются в биологические критерии.