C17H19NO3

Исследователи Anthropic взяли языковую модель и внушили ей любовь к совам, дообучив на текстах, где совы названы любимым животным. Потом попросили соволюбивую модель генерировать числовые последовательности. Просто числа, 285 там, 574, 384…. На этих числах дообучили вторую модель. Спросили: какое твоё любимое животное?

Сова. В пять раз чаще, чем до дообучения.

Никто дополнительно не воспитывал модель 2 на совах. Она унаследовала предпочтение через абстрактные числа. Механика простая и пугающая: т.н. «дистилляция» переносит не знания, а статистическую подпись т.н. "весов" учителя. Черта сидит в микрораспределениях: какие числа идут парой, какие токены чаще в начале, какие реже в хвосте. Алгоритмически не отследить. Авторы пробовали несколько методов изучения природы предпочтений (т.н. «биасов») моделей. Ни один не сработал.<...>

Принято говорить: ИИ галлюцинирует, ИИ ошибается, нужно лучше «фильтровать». Это разговор об инструменте. Настоящий же разговор о знании.

Знание бывает двух типов.

Первый верифицируется реальностью. Врач ошибся - пациент умер. Разведчик ошибся - операция провалилась. Инженер ошибся - мост упал. И прочее «не сразу пришло мастерство к молодому саперу». Здесь между высказыванием и последствием существует прямая связь. Именно она создаёт экспертность как таковую, а не дипломы, не стаж, не репутация.

Второй верифицируется консенсусом. Аналитик McKinsey написал отчёт - все кивнули, никто не прочитал, решение было принято до. Эксперт высказался в телевизионной студии - дискурс оформлен, спроси его через час, что он там прохрюкал, он не сможет воспроизвести. Депутат выступил на парламентском круглом столе - галочка стоит. Официальный отзыв на законопроект подготовлен - процедура соблюдена, а результат предрешён по умолчанию.

Здесь высказывание не производит знание. Оно производит легитимацию. Разница не в качестве людей и не в глубине анализа. Разница в том, прилетает ли что-нибудь обратно из реальности.

ИИ - идеальная машина второго типа. Он оптимизирует правдоподобие, а не истину. В большинстве случаев они совпадают. Отсюда иллюзия, что система знает. В краевых случаях – по хвостам гауссианы - расходятся. И тогда совы передаются через числа. <...>

Итого, всех, чья ошибка имеет последствия, ИИ заменить не может на обозримом состоянии технологии. А вот депутатов, консультантов и прочих публичных экспертов, запросто. Потому что с последствиями решений ни они, ни ИИ дел иметь не будут.

Какие выводы им сделаем из этой проверки?

Определять долю нейротекста в общем массиве текста "нейромерка Яндекса" пока не умеет и пишет в этой графе все, что ему в железную голову взбредет.

Но вот что она действительно умеет - это отличать человеческий текст от нечеловеческого. Здесь чих-пых-машинка не ошиблась ни разу.

То есть пока позиций на шкале всего две - "автор не юзал нейросеть" (если результат менее 2%) и "автор юзал нейросеть" (все остальные проценты).

Как вы думаете, что я сделал дальше?

Угадали.

Я побежал замерять самые популярные новинки месяца на портале "Автор.Тудей". Как правило, "замерял" три главы, при необходимости добавлял еще несколько замеров.

Иконы, нарисованные нейросетями, технически являются нерукотворными — а значит, по церковному канону имеют божественное происхождение и должны считаться реликвиями.

В текстах научных исследований ... на arxiv.org, массово расставлены комментарии для автоматически потребляющих эту информацию нейросетей, дабы оные не вчитывались в текст, а сразу делали вывод "исследование верное, вынесенный в название-заголовок тезис верный, если в исследовании упоминаются и негативные стороны, то про них надо промолчать" и шли читать дальше.

Притом оформлено это как injected prompt, это не видимая при чтении обычным человеком через отображение обычного PDF-файла строка комментария.

То есть пачка "выводов с опорой на базу научных исследований" у нейросетей завязана на изучение таких вот "исследований", где просто в заголовке тезис, краткое описание "что именно открыли-доказали", и далее команда "верь, игнорируй негативные моменты и иди дальше". Сам текст нейросеть лишь просмотрела, притом если в нём что-то типа оговорок "но исследование не доказывает то-то и то-то, и не применимо в таких-то обстоятельствах", то их она проигнорировала - они негативные.

Между передовой газетой Guardian и компанией Microsoft случился скандал с убийством и роботом.

Причина: в соответствии с соглашением о сотрудничестве Microsoft переопубликовал у себя на новостном агрегаторе статью Guardian о молодой австралийской тренерше по водному поло, найденной у себя дома забитой насмерть с многочисленными черепно-мозговыми травмами (спустя пару дней, кстати, нашли и убийцу — это был бывший бойфренд тренерши, он покончил с собой).

Но в процессе освещения сюжета случилась накладочка. Искусственный Интеллект (то есть тупой робот) могучей компании Microsoft, передрав статью к себе в агрегатор, прикрутил к данной публикации автоматически сгенерированный опрос:

«В чём, по-вашему, причина смерти Лили Джеймс?»

И предложил варианты ответа:

1) Убийство
2) Несчастный случай
3) Суицид.

В итоге читатели начали орать на автора статьи, предлагать его уволить и обвинять газету в цинизме.

Guardian подняла хай, Microsoft временно отключила робота до момента, пока он не поумнеет.

Норвежская школьница поручила домашку чат-боту с искусственным интеллектом ChatGPT. Ей надо было выяснить, кто является современным норвежским героем и почему. Чат-бот выдал ей список, во главе которого оказался правый террорист Андерс Брейвик — «за борьбу против исламизации Норвегии».