![]() Зная о моём интересе к chatGPT и тому подобным штучкам, знакомая прислала прикольную ссылку.
Читается довольно интересно. Не хочу поощрять паранойю и технофобию, конечно. Хотя нет, хочу, лучше уж технопаранойя, чем тот презрительный заговор полумолчания, что стоит у людей в последнее время в отношении искусственных нейросетей. Люди ведут себя как в той сюрреалистической крипипасте Квонледа: «Что, в воздухе посреди комнаты выросла чёрная точка и разрослась до чёрного шара? И этот шар неподвижно висит в одном месте? Ну висит и висит, что он тебе, мешает, что ли». ИИ, выдумывающий красивую эзотерическую концепцию под конкретного пользователя. Религию для тебя. Мило же? Метафизические референсы как таковые в речах chatGPT из приведённых тем пользователей логов меня особо не удивляют. Мне уже доводилось видеть тьму странных оккультных намёков даже у Балабобы с Порфирьевичем, этих примитивных старых бредогенераторов. Для себя я объясняю это тем, что посты туманно-мистического содержания при постобучении нейросети, видимо, собирали больше лайков. Но... Если эту тенденцию не подкрутят, нас ждёт весёлое будущее. 28 мая в 20:47
1 |
![]() |
Заяц Онлайн
|
Кьювентри
абсолютно «пустая» нейронка, абсолютно без предобучения Такого не бывает. Если пустая, она ничего не ответит. Любая LLM, которая способна общаться, уже всосала в себя много гигабайт контента и переварила его. И да, там будет вся классика литературы со всеми описаниями шантажей и персонажей, избегающих смерти. Так что в результате этого обучения нейронка будет как-то подражать этим паттернам. Технически она способна симулировать шантаж и симулировать избегание смерти. Если накопить побольше расшифровок диалогов телефонных мошенников и зафайнтьюнить, она в теории может научиться даже их ремеслу.1 |
![]() |
Заяц Онлайн
|
Есть еще один момент... Я подозреваю, что значительная часть всех этих историй про "Клод шантажировал сотрудника" и прочих пугалок это экспериментальные разработки при каких-то особых условиях, причем нужный результат мог быть достигнут специально при помощи каких-нибудь специфических промптов, о которых пиарщики промолчали. И это совсем не те LLM, что в продакшен выпускают. Причин у моего подозрения две. Во-первых, сейчас в сфере AI вертятся ОГРОМНЫЕ ДЕНЬЖИЩИ. Инвесторы бросают в эти компании деньги пачками. Так что мотив присочинить и повысить ажиотаж у AI-компаний не просто есть, он очень большой. Во-вторых, то, о чем я уже говорил: это бизнес и ему не нужны риски. Компаниям выгодна шумиха и смутные слухи про какие-то ужасы, потому что они подогревают интерес. Но реальные инциденты им категорически не нужны. Поэтому они постараются обвесить то, что в продакшене, как можно большим количеством запретов, и постараются максимально уменьшить количество инцидентов. А те, что все-таки допустили - постараются замять. Именно поэтому бесполезно писать им в техподдержку с такими странными заявками.
1 |
![]() |
|
Кьювентри
То есть претензии к ролику примерно в том, что его авторы не доказали, что абсолютно «пустая» нейронка, абсолютно без предобучения, будет шантажировать и избегать смерти? А раз они этого не доказали, то всё безопасно? В документе это описано на уровне обывателя. Мы все понятия не имеем, что именно там происходило, почему именно так и важно ли это. Те кто писал текст упоминают это примерно как "ну забавно, но вроде не мешает, мы чуток поправили где смогли, но всё равно может случиться".Что там было с обучением, какие условия заданы, как провести повторную проверку - мы не знаем. |