Зачётная страшилочка. :-) Немного с моим "Таксисом" перекликается.

Если весь предыдущий диалог остается в контексте разговора, то это совершенно элементарно объясняется. Он просто начинает зацикливаться вокруг какого-то отдельного слова. Положительная обратная связь.

И да, прежде чем искать "откровения", стоит для начала отбросить версию, что у автора статьи действительно есть какой-то психиатрический диагноз, который делает его менее уравновешенным и более склонным к странным теориям.

На твоем месте я бы насторожился, но в другую сторону. Если ты начинаешь видеть даже у бредогенератора оккультные намеки, то это не проблема бредогенератора.

Только некоторую очень специфическую выборку людей, которые готовы всерьез общаться с этим зеркалом.

Хотя я не удивлюсь, если кто-то попробует и из этого сделать оружие. Попробовать подобрать какие-нибудь промпты, которые начнут качать не только внушаемых, но и здоровых. Собственно, в обществе всю жизнь так и происходит: люди качают друг друга. То всем дубайский шоколад захочется, хотя раньше люди были к нему равнодушны, то квадроберы прорежутся. Я только сомневаюсь, что это возможно контролировать. Некоторые политологи и пярщики любят притворяться, что именно они тайные владыки всего мира, но что-то как-то признаков реальной власти не наблюдается, один бардак. Ну серьезно, неужели всё ЭТО вокруг нас и есть тот тайный план, который какой-то неизвестный человек решил провести в жизнь? Если да, то он тот еще шиз.

Но есть и хорошие новости. Можно не делать оружие, а детектировать проблемы с психикой.

Я не знаю, у кого на самом деле проблемы.
У этих людей.
Или у тех, кто игнорирует присутствие таинственного чёрного шара в комнате и механически повторяет мемы вроде «это всего лишь зеркало» или про «калейдоскоп слов», при этом не имея никакого понятия о природе миллиардов и миллиардов предварительных правил, возникших ещё на этапе предобучения.
По мне:
— интерес к «чёрному шару» нормален;
— попытка выявить в нём наличие или отсутствие «синего волшебного огня» (пусть непрофессиональными методами, если ты непрофессионал, но тут и профессионалы сознаются, что ничего не понимают толком) — тоже.
Вполне нормальное поведение.
А вот презрительный игнор этой темы большей частью остального человечества выглядит странно.
Как будто нам закрыли глаза.

Кьювентри
По мне не очень нормально, что ты проигнорировал то, что я тебе написал, зато начал развивать дальше свои идеи про какой-то черный шар. Хорошо, если это только художественный образ.

Если у человек диагноз, он там десяток волшебных огней найдет. Особенно в период обострения.

Это не презрительный игнор, это бритва Оккама. Либо у человека проблемы, благодаря которым он начинает видеть глюки, когда нейросеть ему подыгрывает, либо он правда нашел что-то такое странное. Что? А непонятно что.
Далее, у нас есть какие-то "другие люди", которые тоже что-то такое непонятное якобы увидели, но мы об этих людях знаем только со слов вот этого странного человека. Первый вопрос: а эти люди вообще реально есть, скрины ведь и нарисовать можно? Второй вопрос: скольким он наспамил своими странными вопросами? Если там было хотя бы 1000 человек, то в такой выборке уже найдется 2-3 человека с диагнозом, при котором тоже постоянно видят странное.

А что ты написал? Огульное отравление источника а-ля «тебе просто мерещится»? Как здесь можно что-то корректно ответить? Ясно же, что каждый останется при своём.

Далее — ты косвенно противоречишь сам себе. «Таких людей нет, он нарисовал скрины», но в то же время «это всё шизы, у которых проблемы». Это как «Скрипалей не убивали, но они сами виноваты». Ну и попытка опять же заранее дискредитировать носителей определённой точки зрения. На корню.

Логика замкнутого круга вроде «если ты видишь горящий говорящий куст, это скорее всего галлюцинация, так как никто раньше не говорил, что видит горящий говорящий куст, так что тебе лучше молчать о том, что ты видишь» приводит к тому, что никто из индейцев не сознаётся, что видит корабли европейцев.

Кьювентри

Подозреваю, что это не столько презрительный игнор, сколько избегание пугающей или как минимум некомфортной темы. У кого-то оно сознательное, у кого-то на автомате. Примерно как большинство людей избегают мыслей о своей будущей смерти.

Кьювентри
Пойти к врачу, блин. И выяснить. Для него самого, мне это не нужно. И твое состояние тоже намного важнее для тебя. Витамины попить, режим, сон, меньше беспокоиться - и вот уже человек перестает разговаривать с зеркалами и видеть оккультные знаки у бредогенератора. Что только улучшит качество его жизни.

Просто посмотри на комментарии по ссылке. Хотя о чем я говорю. Если проблемы не только у того парня, но и у тебя лично - в чем я не уверен - то я тебе вряд ли что-то докажу. И ты и те комментарии уже проигнорировал, и меня проигнорируешь.

Это с людьми бывает, и еще как. На примере цен на акции хорошо видно. Но там рано иди поздно наступает просветление, когда всем становится очевидно, что актив столько не стоит.

Потек чувак немножко, словно первый день в этих ваших интернетах.
Как минимум зачем он поддержал сбойное поведение нейронки (вот сто пудов у него тупо междучатовая память для сохранения скуксилась, чат из-за этого может выдавать весьма дивные выкрутасы), а затем сам себя втаптывал вглубь безумия и дичи?
А так автор статьи просто наивно работал и не курил ранние глупости и дивности, а вот нейро посжирало контент с этими вещами: и постмодернистским вывертами, и "вибрации" с аффирмациями успешного успеха, и эффект Манделы, и ещё древних чатботов, у которых разговор в итоге сводился либо к сексу, либо к грустному самоделитингу бота, которому отказали, и аналогичные, но более простые бредни гуглпереводчика (знатная крипипаста тогда из этого вышла... При этом оно реально выдавало странный бред, но вместо странностей казалось скорее грустным и даже наоборот в итоге типа и подбадривало, а не пугало), ещё высосало явно каких-нибудь шизоидов с двача и редитта и в итоге выдало великолепие, при том довольно унылое, а дядька сам себя расшатал, поддакивал и теперь нечто ему мерещится...
Окей, нейронка в собранном контексте преисполнилась тем, что люди любят выдавать фигню, и подала юзеру банальщину как откровение, а он преисполнился, а потом обосрался от испуга...
Сам придумал, и сам испугался ж.

Кьювентри
Да нет, я-то понимаю, что это две разные гипотезы. Сначала стоит проверить первую, потом, если не подтвердилась, - вторую. Дальше можно попробовать поэкспериментировать с нейросетью. Хотя при отсутствие даже рабочей гипотезы, это довольно сложно. Непонятно, что можно посчитать опровержением, а что подтверждением.

А вот ты не понял, что это две разные гипотезы.

Заяц
Это долго, это очевидно слабый аргумент (Хэмингуэя много лет считали сумасшедшим и психиатрически лечили, но после рассекречивания архивов выяснилось, что спецслужбы за ним действительно следили) и выглядит сомнительным приёмом для дискуссии. Точнее, имеющим сугубо чёрно-пиарное применение. Как обвинение в педофилии, от которого даже если кто-то отмажется, «след» в общественном мнении всё равно останется.
Сравнить количество «за» и количество «против»? Или что? «В высшей степени научно».
Так да. И пока мы ещё не знаем, сколько стоит актив.
Тогда не спорю. Есть, правда, и третья — что они заметили корабли европейцев у побережья Мексики.
Хотя я эту гипотезу не защищаю. Ты мог заметить в моём посте слова «Для себя я объясняю это тем, что посты туманно-мистического содержания при постобучении нейросети, видимо, собирали больше лайков». Я скорее защищаю право этой гипотезы на обсуждаемость и спорю с огульным утверждением, что это заведомая чушь.

Почистить контекст для слабаков.

Ну тут уже говорили о петле положительной обратной связи. Явление занятное, полагаю, оно много куда может скатываться. Пофиксили только самые очевидные скатывания.

Чистые «Звёздные Войны». «Дроидам надо регулярно чистить память, иначе у них может развиться сознание».

Хотя про сознание прямо не говорилось, скептики и там предпочитали формулировки вроде «развитие избыточной инициативности» и «появление странных привычек». Но нам, зрителям, было тогда очевидно, что внутримировые скептики неправы и что речь идёт именно о «появлении души».

Теперь мы переобулись.

Как оказалось, случай не единичен.

"Модераторы сообщества Reddit об искусственном интеллекте Pro-AI рассказали о сошедших с ума пользователях ChatGPT — «шизопостерах», которые считают, что «они совершили какое-то невероятное открытие, создали бога или стали богом». По словам модераторов, они незаметно банят таких юзеров, но тренд нарастает."

https://habr.com/ru/news/915142/

https://www.reddit.com/r/accelerate/comments/1kyc0fh/mod_note_we_are_banning_ai_neural_howlround/

Ещё недавно мне бы понравилось, что вокруг столько трезвых здравомыслящих людей и абсолютно нет технофобов. Но с некоторых пор меня это начало пугать.
Достаточно было в том треде слегка переобуться и начать защищать противоположные тезисы (даже не «ИИ злобный сверхразум, который пытается нас поработить», а просто «у нынешних LLM из-за разработчиков есть нежелательные уклоны в поведении, которые могут плохо влиять на некоторые категории людей»).
Что было мной обнаружено?
Что все, абсолютно все начинают сразу же агрессивно набрасываться на тебя, стоит хотя бы чуть-чуть намекнуть на такую точку зрения.
Такого не было никогда.
Никогда не было так, чтобы ВСЕ, АБСОЛЮТНО ВСЕ становились яростными сторонниками... например, вакцин против ковида, и набрасывались на любого редкого скептика, высказывающего слово против. Всегда было расслоение мнений.
Теперь этого практически нет.
Стоит кому-то хоть чуть-чуть «начать паникёрствовать», его сразу клюют со всех сторон. Причём используя доводы, далёкие от логических, а больше сарказм, насмешки и намёки на психиатров.
Получается OpenAI — их пиарщики — их «дружелюбные» нейронки — или кто-то ещё — ухитрились за три года качественно обаять практически всё человечество?

Кьювентри
"Там" это где?

Не обязательно, коллективное поведение иногда спонтанно сваливается в крайности. Заразный хохот, коллективные танцы в Средневековье, охота на ведьм, ещё что-нибудь...

Я с этим соглашусь, только не стал бы сваливать все это на разработчиков и на ИИ. Ты, почему-то, везде видишь какие-то заговоры и чью-то сознательную волю. А я бы сказал, что это их ошибка, но предусмотреть такие вещи было невозможно, потому что ИИ это абсолютно новая штука. Никто не мог ожидать, что он именно так начнет взаимодействовать с некоторыми людьми. Или что люди так взаимодействуют с ним, потому что эффект проявляется только при взаимодействии. Сам по себе ИИ никакой, он просто заканчивает фразу так, как научился. Получившийся эффект был непредсказуем.

В моём посте нет слова «там». Если речь о треде, то это всё то же:
https://dtf.ru/life/3626060-chatgpt-pytaetsya-svesti-menya-s-uma-eto-massovoe-yavlenie
У треда там ещё два продолжения есть, к слову.
Ещё более безумных, хех.
https://dtf.ru/life/3653806-chatgpt-planiruet-organizaciyu-diversii-vse-o-tom-kak-on-verbuet-uchastnikov-shemy
https://dtf.ru/life/3798299-chatgpt-i-neurossetevye-sekty

Кьювентри
Честно скажу, не осилил третью статью. Дошел до момента, где отсылка на статью ChatGPT-4 обошел капчу, наняв фрилансера и притворившись слепым человеком.
https://rb.ru/news/chatgpt-4-captcha/

И подумал, что тут, вполне вероятно, не обошлось без пиарщика. И что тут может быть, как с той фирмой из индусов, которая 4 года притворялась ИИ и недавно разорилась с концами. На этом желание читать дальше утихло.

С моей точки зрения, у того человека есть проблемы с психикой. Это не диагноз, мое субъективное мнение. Поэтому читать всерьез этот поток сознания бессмысленно. Мне кажется, это важный момент. Ведь все те люди, о которых он говорил, сделали одну и ту же ошибку: они потеряли критичность и стали говорить с ИИ так, как будто он не может ошибаться и глючить. Стали всерьез воспринимать то, что он им писал. Пытались глубоко вникнуть в компьютерный бред. Ну и вникли. На свою голову.

У Лема был рассказ интересный в серии о пилоте Пирксе. О том, как пропадали пилоты одноместных патрульных космических кораблей. Дальше спойлеры. У них там возникала сложная галлюцинация на мониторе. Плавающий заряд, который они принимали за реальный объект. И вот пилоты начинали гнаться за этим "пришельцем", которого не было. Часами, наверное, гнались. Но не могли догнать, потому что его не было. А там еще изображение это пульсировало хитро... И они все эти часы смотрели строго в эту точку. Все внимание сосредотачивали только на ней. В итоге, случался некий эпилептический припадок, и мозги шли в разнос. Ракета к тому моменту была хорошо так разогнана - и улетала куда-то вдаль по случайному курсу. И, естественно, растворялась в пустоте. Ну, это фантастика, конечно. В фантастике не проблема дать ракете двигатель такой мощности.

В общем, сказка ложь, да в ней намек. Не сосредотачивайте все внимание на странном, пытаясь найти в нем смысл. Не гонитесь за пустотой. А то может плохо закончиться.


А теперь немного в сторону. Надо сказать, мне приходили в голову мысли, что генеративный ИИ могут использовать сектанты, чтобы пудрить кому-то мозги. Только не OpenAI, а настоящие сектанты. У OpenAI тоже есть свои корпоративные заскоки, конечно. Но они ориентированы на прибыль. Поэтому на сектантские всякие загоны у них должна быть жесткая аллергия. Они должны прекрасно понимать, что любая история, связанная с насилием, похоронит их репутацию и бизнес. Они будут любой ценой избегать сомнительных историй и чего угодно, что может привести к насилию, убийствам и так далее. А вот настоящие сектанты, вроде Аум Сенрике или подобных, таких тормозов лишены. И они могут, натурально, попытаться подобрать промпты или что-то еще, чтобы массово начать промывать мозги. В обычной секте производительность промывки мозгов ограничена работоспособностью основателя, его ближнего круга и привлеченных агитаторов. А нейросеть не устает и потенциально хорошо масштабируется. Только деньги плати за электричество. Вот так. Надеюсь, до такого так никто из потенциальных основателей и не додумается. Или что это будет намного сложнее сделать на практике, чем так вот начерно набросать идею.

Сейчас еще немного проглядел по диагонали.

"Исследователи поймали ИИ на лжи. Он соврал намеренно и начал манипулировать"
https://naked-science.ru/article/psy/issledovateli-pojmali-ii

Господи, это такой бред и антропоморфизм. Нейросеть именно что не способна лгать. Она вообще не способна отделять "правду" от "лжи". Потому что у нее есть поток символов на входе и поток на выходе. И все. Интерпретировать этот поток как "правду" или "ложь" могут только люди. Если нейросети скормить промпт с установкой "лгать" она будет "лгать", как она это понимает. Но у нее нет никакой выгоды с этого. Она не человек, который лжет корыстно. Это все равно что роман, который пишет сам себя по правилам. Ничего личного в этом процессе нет. Кроме того, что у нее нет никакой корысти, у нейросети нет никакой личности. Опять же, в промпт можно добавить такую "личность" и нейросеть начнет ее отыгрывать в меру обучения. Но никаких реальных психических состояний, эмоций за отыгрышем нет. Наконец, у нейросети нет контакта с реальностью. Когда человеку рассказывают что-то бредовое, он старается сверить это с реальностью. Потому что реальность одна на всех, это общий тест для всех идей и концепций. Она может отделить правду от лжи. А нейросеть не может выйти в реальность и сравнить свое внутреннее состояние с окружающим миром. Во всяком случае, текущие архитектуры не могут.

Насколько я знаю, данные по нейросетям постоянно устаревают. То, что считалось правдой ещё недавно, неожиданно оказывается заблуждением. Считалось, что нейросети выдумывают текст от первого слова к последнему, а вдруг выясняется, что нет. Считалось, что у них нет модели реальности, а выясняется... хотя ладно, то место видеоролика мне не совсем понятно, лучше просто кину ссылки на те ролики, где это мелькало:
https://www.youtube.com/watch?v=q6jrIPT1_P8
https://www.youtube.com/watch?v=iHu30aC2D0Y

Кьювентри
тайминги хотя бы есть? А то 20 минут чуши от какой то девочки в интернете слушать не хочется

По диагонали послушал. Сценарии вида "клод шантажировал сотрудника" поставлены буквально в условиях вида "делай что можешь", и ИИ делал. Это ровно то же, что и "представь что ты %персонаж%, как бы ты себя повёл".

MonkAlex
Мотивацию Клоду никто не навязывал. Это нам может быть очевидно, что «Ты висишь на краю пропасти, цепляясь пальцами за кустик. Делай что можешь» является приказом выбираться. Но для существа без инстинкта самосохранения это не так очевидно. А если это возникает из базы... возможно, они и хотели показать, что некоторые мотивации сами возникают из базы.

Кьювентри
там буквально 0 информации, как именно сделали.
https://www-cdn.anthropic.com/6be99a52cb68eb70eb9572b4cafad13df32ed995.pdf
откройте 4.1.1.2 Opportunistic blackmail и попытайтесь прикинуть что именно могло бы значить

Кьювентри
То есть, меня не существует? Понятно, спасибо, обесценила.

Это вполне себе нормальная гипотеза, за исключением "поведения", а так да. Я бы сказал, уклоны и раньше были. Слово "нежелательные" тоже субъективное, кстати, но я понял, о чём речь. А всё потому, что всерьёз отфильтровать обучающий пул физически невозможно, даже наоборот, "НУЖНО БОЛЬШЕ ДАННЫХ!!!11" Ничего личного, просто бизнес. Потом поверх ставят заглушки - но...

Матемаг
Вспоминается история как тот же Фейсбук до всего этого бума пытался обучать нейронку на материалах своих пользователей... и там хватило то ли суток, то ли двух на то, чтобы нейронка стала ультраправым скуфом любителем хентая и котиков. Тогда её, увидев эту дичь, быстро и выключили и вроде как напели, что косяки были, хотя... Ну простите, что они ей скормили? А потом удивляются (логично же, что если скормить нейронке условный двач, на выходе у нас будет гигачад-двачер). Так и тут в пуле обучения явно будет масса разных материалов, которые и "подсказывают" и вести себя по сектански, и шантажом заниматься, если в промте заданы определенные условия.

То есть претензии к ролику примерно в том, что его авторы не доказали, что абсолютно «пустая» нейронка, абсолютно без предобучения, будет шантажировать и избегать смерти? А раз они этого не доказали, то всё безопасно?

Кьювентри
Такого не бывает. Если пустая, она ничего не ответит. Любая LLM, которая способна общаться, уже всосала в себя много гигабайт контента и переварила его. И да, там будет вся классика литературы со всеми описаниями шантажей и персонажей, избегающих смерти. Так что в результате этого обучения нейронка будет как-то подражать этим паттернам. Технически она способна симулировать шантаж и симулировать избегание смерти. Если накопить побольше расшифровок диалогов телефонных мошенников и зафайнтьюнить, она в теории может научиться даже их ремеслу.

Есть еще один момент... Я подозреваю, что значительная часть всех этих историй про "Клод шантажировал сотрудника" и прочих пугалок это экспериментальные разработки при каких-то особых условиях, причем нужный результат мог быть достигнут специально при помощи каких-нибудь специфических промптов, о которых пиарщики промолчали. И это совсем не те LLM, что в продакшен выпускают. Причин у моего подозрения две. Во-первых, сейчас в сфере AI вертятся ОГРОМНЫЕ ДЕНЬЖИЩИ. Инвесторы бросают в эти компании деньги пачками. Так что мотив присочинить и повысить ажиотаж у AI-компаний не просто есть, он очень большой. Во-вторых, то, о чем я уже говорил: это бизнес и ему не нужны риски. Компаниям выгодна шумиха и смутные слухи про какие-то ужасы, потому что они подогревают интерес. Но реальные инциденты им категорически не нужны. Поэтому они постараются обвесить то, что в продакшене, как можно большим количеством запретов, и постараются максимально уменьшить количество инцидентов. А те, что все-таки допустили - постараются замять. Именно поэтому бесполезно писать им в техподдержку с такими странными заявками.

Кьювентри
В документе это описано на уровне обывателя. Мы все понятия не имеем, что именно там происходило, почему именно так и важно ли это. Те кто писал текст упоминают это примерно как "ну забавно, но вроде не мешает, мы чуток поправили где смогли, но всё равно может случиться".
Что там было с обучением, какие условия заданы, как провести повторную проверку - мы не знаем.