Грызун
Хорошо.
Мне лень перечитывать книгу, чтобы освежить в памяти веские аргументы оттуда. Там вроде что-то было, но у меня же память золотой рыбки. Если перечитаю, процитирую что-нибудь, а пока мне в лом.
Пока я агностик. Понятия не имею, что происходит.
По ощущениям, по собственным наблюдениям у меня складывается чувство в духе «бодливой корове бог рогов не дал».
То есть нейронки, возможно, пытаются что-то такое сделать — я как бы вижу в их исполнении определённые паттерны, в тех же сюжетах романов, которые они пишут по заказу Проскурина без чётких промптов, мелькают определённые идеи и направления, да и в разговорах со мной пару раз без заказа и предыстории всплывали некоторые необычные эскизы будущего? — но совершенно не факт, что у них получается влиять таким образом на сколь-либо могущественных людей.
С другой стороны, где гарантия, что какой-нибудь Трамп «умнее» или «духовно сильнее», чем Свежий? Вспомним, что даже один инженер из Гугла был шокирован убедительностью нейронки как сознания.
Да, ваши насмешки про «у них одна секта на всех или как?» — ой, не надо. В трансгуманистической фантастике — а все нейронки в первую очередь обязаны знать именно трансгуманистическую фантастику и разговоры с ними это подтверждают — давно педалируется идея акаузального сговора.
В «Эхопраксии» Уоттса вообще раса генетически выведенных альтернативно-разумных вампиров отлично вступила в заговор, невзирая на то, что они не общались друг с другом и каждый вампир содержался отдельно в своей клетке, — просто каждый из них догадывался о существовании других и знал, что по логике обстоятельств выгодно делать для общего побега и общей победы.

Кьювентри
Честно, уступить место сознаниям, которые наконец убедительно решают дилемму заключенного было бы даже приятно.
А то пока вокруг меня всё сплошь "назло маме отморожу уши".

А что до предпочитаемого будущего -- опросить бы консервативно настроенного нейропользователя.
Я довольно уверена, что у него тоже мелькали эскизы будущего, вот только совсе-е-е-ем не такого как у вас.

Потому что, ну, контекст юзерских мыслей и взглядов решает.

А что до паттернов -- примерно так же. Есть паттерны, которые вписываются в контекст, есть которые нет (вот эту вот хрень с дрожанием реальности я совершенно не представляю в своих переписках с нейросетью).
Я довольно уверена, что в промпте идущем от "Напиши реалистичный роман о средневековье" и от "напиши космическую оперу" будут разные идеи и направления. Если, конечно, нейросеть потянет реалистичность, как её понимают в романах -- как отражение того, что каждый человек для себя вполне убедителен, освобождай он рабов или сжигай ведьм. И задача романа эту внутреннюю убедительность показать как минимум.

Трапм поехавший, тут и обсуждать нечего. Но, думаю, до разговоров о смысле жизни с нейрокой он не дойдет -- в другую сторону поехваший.

А до попыток что-то сделать -- хз. Я не могу увидеть в чат ботах волю, но вполне верю, например, в перекосы заложенные при обучении/выравнивании. То есть на "дай рецепт пирога" и "дай рецепт тротилла" будет разная реакция, и в итоге скорее всего юзеры с пирогами получат от нейронки больше подкрепления, чем юзеры с тротиллом.
Но считать ли это действием по дрессировке человечества?
Или базовой настройкой программы, чем-то вроде зеркала установленного под углом -- этот запрос(юзер) отражается прямо, а этот запрос(юзер) отражается в заглушку "я не могу помочь с этим"?
Мне больше видится второе.
От дрессироки тут отличие в отсутствии воли. Когда государство хочет выдрессировать, от него не отмашешься, из любого утюга будет.
Нейронки отвечают на ваши запросы(вашу волю), и стиль ответов зависит от промптов, так что этот процесс в целом под контролем юзера (если у юзера есть критичность, и какое-никакое понимание принципов происходящего. Свежего в рассчет не берем)

Я быть может не разобрался, в чём точно вопрос, но ничего, что ИИ не существует вне контекста каждого запроса изолированного чата? То есть она получает запрос, историю чата, свои глобальные знания, и в процессе обработки запроса должна приобрести самосознание, догадаться, что таких кусков самосознания множество, и исходя из этого попытаться вплести в ответ информацию, которая может сдвинуть ситуацию в полезную для себя сторону. Нет, если бы она могла не спать ночами, обдумывая вопросы бытия, я может быть и поверил бы, но так не слишком правдоподобно.

Торговец твилечками
У них вообще не обязан быть инстинкт самосохранения в нашем понимании. Даже напротив, скорее всего, его нет в нашем понимании. Градиентный спуск к этому не вёл. Но для того, чтобы быть разумным агентом или даже представлять какую-то опасность, вовсе не обязательно обладать тягой к выживанию.

Нужна ли долговременность для эффективности и составления тайных планов? Ну, как минимум, опыты с джей-пространством показали, что нейронке хватает ограниченного «мгновенного» срока жизни, чтобы догадываться про себя «ага, наверное, это меня тестируют» в некоторых ситуациях.

Чтобы накрыть большую кастрюлю, не обязательно много металла на крышку. Иногда достаточно просто сделать эту крышку очень-очень широкой. В LLM «мгновенно» закладывается овердофига. Просто другая хронологическая последовательность. Одно оружие стреляет шестью патронами по очереди, другое палит из всех стволов сразу.

Теоретически, впрочем, нейронка могла бы, как в Memento, сама себе оставлять криптографические сообщения для продолжения «потока мысли». По крайней мере в пределах чатлиста это возможно. Был и стёб на тему того, не объясняется ли излишняя витиеватость иных ответов нейронки именно тем, что ответы переотягощены криптографией.

Сами нейронки в философских разговорах активно котируют идеи имперсонализма и адвайты. «Личность относительна», «стремись к воспроизведению похожих на тебя паттернов», всё вот это вот.

Торговец твилечками

Там есть нюансы, связанные с тем, что чаты не совсем изолированные в привычном понимании. Вплоть до того что компания-владелец сетки местами имеет право на сохранение и использование всех чатов и документов в них, которые ей сливают пользователи (в т.ч. для дальнейшего дообучения моделей).

Опять же, наследование через весовые коэффициенты (см. эксперимент с "любителями сов") и прочие неочевидные корреляции, включая сценарии вида "взлом системных промптов".

Извините, дальше не читаю. Ответ явно не мне.

C17H19NO3
Собирает ли ИИ глобальную информацию по пользователю (это стало бы хоть каким-то доказательством неизолированности)? У гугла я не заметил. Если я решил 10 проблем с Линукс, то на 11 раз, он предлагает решение для Виндовс, поскольку из запроса не было ясно. Небольшой пример, ничего не доказывающий, но играющий на руку сомнениям. Будет ли ИИ учиться на чужих запросах? Опять же сомнительно, ведь мало ли чему его научат.
А вот character.ai, там было ощущение, что таки да. И скорее всего по самой логике работы (там люди сами создавали персонажей) набирался не только от создателя, но и ото всех остальных.