Исследователи Anthropic взяли языковую модель и внушили ей любовь к совам, дообучив на текстах, где совы названы любимым животным. Потом попросили соволюбивую модель генерировать числовые последовательности. Просто числа, 285 там, 574, 384…. На этих числах дообучили вторую модель. Спросили: какое твоё любимое животное?

Сова. В пять раз чаще, чем до дообучения.

Никто дополнительно не воспитывал модель 2 на совах. Она унаследовала предпочтение через абстрактные числа. Механика простая и пугающая: т.н. «дистилляция» переносит не знания, а статистическую подпись т.н. "весов" учителя. Черта сидит в микрораспределениях: какие числа идут парой, какие токены чаще в начале, какие реже в хвосте. Алгоритмически не отследить. Авторы пробовали несколько методов изучения природы предпочтений (т.н. «биасов») моделей. Ни один не сработал.<...>

Принято говорить: ИИ галлюцинирует, ИИ ошибается, нужно лучше «фильтровать». Это разговор об инструменте. Настоящий же разговор о знании.

Знание бывает двух типов.

Первый верифицируется реальностью. Врач ошибся - пациент умер. Разведчик ошибся - операция провалилась. Инженер ошибся - мост упал. И прочее «не сразу пришло мастерство к молодому саперу». Здесь между высказыванием и последствием существует прямая связь. Именно она создаёт экспертность как таковую, а не дипломы, не стаж, не репутация.

Второй верифицируется консенсусом. Аналитик McKinsey написал отчёт - все кивнули, никто не прочитал, решение было принято до. Эксперт высказался в телевизионной студии - дискурс оформлен, спроси его через час, что он там прохрюкал, он не сможет воспроизвести. Депутат выступил на парламентском круглом столе - галочка стоит. Официальный отзыв на законопроект подготовлен - процедура соблюдена, а результат предрешён по умолчанию.

Здесь высказывание не производит знание. Оно производит легитимацию. Разница не в качестве людей и не в глубине анализа. Разница в том, прилетает ли что-нибудь обратно из реальности.

ИИ - идеальная машина второго типа. Он оптимизирует правдоподобие, а не истину. В большинстве случаев они совпадают. Отсюда иллюзия, что система знает. В краевых случаях – по хвостам гауссианы - расходятся. И тогда совы передаются через числа. <...>

Итого, всех, чья ошибка имеет последствия, ИИ заменить не может на обозримом состоянии технологии. А вот депутатов, консультантов и прочих публичных экспертов, запросто. Потому что с последствиями решений ни они, ни ИИ дел иметь не будут.