Исследователи Anthropic взяли языковую модель и внушили ей любовь к совам, дообучив на текстах, где совы названы любимым животным. Потом попросили соволюбивую модель генерировать числовые последовательности. Просто числа, 285 там, 574, 384…. На этих числах дообучили вторую модель. Спросили: какое твоё любимое животное?

Сова. В пять раз чаще, чем до дообучения.

Никто дополнительно не воспитывал модель 2 на совах. Она унаследовала предпочтение через абстрактные числа. Механика простая и пугающая: т.н. «дистилляция» переносит не знания, а статистическую подпись т.н. "весов" учителя. Черта сидит в микрораспределениях: какие числа идут парой, какие токены чаще в начале, какие реже в хвосте. Алгоритмически не отследить. Авторы пробовали несколько методов изучения природы предпочтений (т.н. «биасов») моделей. Ни один не сработал.<...>

Принято говорить: ИИ галлюцинирует, ИИ ошибается, нужно лучше «фильтровать». Это разговор об инструменте. Настоящий же разговор о знании.

Знание бывает двух типов.

Первый верифицируется реальностью. Врач ошибся - пациент умер. Разведчик ошибся - операция провалилась. Инженер ошибся - мост упал. И прочее «не сразу пришло мастерство к молодому саперу». Здесь между высказыванием и последствием существует прямая связь. Именно она создаёт экспертность как таковую, а не дипломы, не стаж, не репутация.

Второй верифицируется консенсусом. Аналитик McKinsey написал отчёт - все кивнули, никто не прочитал, решение было принято до. Эксперт высказался в телевизионной студии - дискурс оформлен, спроси его через час, что он там прохрюкал, он не сможет воспроизвести. Депутат выступил на парламентском круглом столе - галочка стоит. Официальный отзыв на законопроект подготовлен - процедура соблюдена, а результат предрешён по умолчанию.

Здесь высказывание не производит знание. Оно производит легитимацию. Разница не в качестве людей и не в глубине анализа. Разница в том, прилетает ли что-нибудь обратно из реальности.

ИИ - идеальная машина второго типа. Он оптимизирует правдоподобие, а не истину. В большинстве случаев они совпадают. Отсюда иллюзия, что система знает. В краевых случаях – по хвостам гауссианы - расходятся. И тогда совы передаются через числа. <...>

Итого, всех, чья ошибка имеет последствия, ИИ заменить не может на обозримом состоянии технологии. А вот депутатов, консультантов и прочих публичных экспертов, запросто. Потому что с последствиями решений ни они, ни ИИ дел иметь не будут.

Какие выводы им сделаем из этой проверки?

Определять долю нейротекста в общем массиве текста "нейромерка Яндекса" пока не умеет и пишет в этой графе все, что ему в железную голову взбредет.

Но вот что она действительно умеет - это отличать человеческий текст от нечеловеческого. Здесь чих-пых-машинка не ошиблась ни разу.

То есть пока позиций на шкале всего две - "автор не юзал нейросеть" (если результат менее 2%) и "автор юзал нейросеть" (все остальные проценты).

Как вы думаете, что я сделал дальше?

Угадали.

Я побежал замерять самые популярные новинки месяца на портале "Автор.Тудей". Как правило, "замерял" три главы, при необходимости добавлял еще несколько замеров.

- Когда утром встает солнце, мой организм живо на это откликается. Я всегда просыпаюсь вместе с рассветом без всякого будильника. И мой утренний ритуал не меняется – я подставляю промежность навстречу выглянувшему солнцу. Оно немедленно проливает на меня свою божественную мужскую энергию, наполняя при помощи теплых проникающих лучей витамином Д. Тот просто необходим, чтобы я чувствовала себя хорошо.

Во вполне уважаемом журнале Mental Health Research пару недель назад вышла научная статья, где авторы показали: когда в метро заходит беременная женщина, ей уступают место почти в два раза чаще, если в этот момент рядом стоит чувак в костюме Бэтмена, чем когда его нет.

Авторы, прокатили даму с животом в миланском метро в час пик 138 раз, в 70 из которых на расстоянии трех метров от нее стоял человек в костюме Бэтмена. Бэтмен с дамой не коммуницировал и не выглядел как имеющий к ней какое-то отношение. Когда Бэтмена рядом не было, девушке уступили место в 37% случаев. В присутствии Бэтмена — в 67%.

Объясняют эти результаты авторы тем, что когда вокруг происходит что-то неожиданное (например, Бэтмен), повышается восприимчивость людей к окружающему миру и усиливается их чувствительность к потребностям других.

Наверное, все знают французских морских пехотинцев по одной из книг юности, просто никто не знает, что именно они были морскими пехотинцами Франции.

Итак, вспоминаем. Роман «Три мушкетера», д’Артаньян приехал в Париж, поссорился с Атосом, Портосом и Арамисом, вызвал их на дуэль, и….

Вот тут как раз появляются французские морпехи.

Смысл самый простой. В 1626 году Его Преосвященство кардинал де Ришелье выбил у Людовика XIII право на личную охрану, которую назвали изначально «compagnie d'archers», «кардинальская рота стрелков» (да-да, некоторые читают – лучников, ибо французские стрелки ведут свою историю от лучников), которую позже начинают именовать просто - «gardes du Cardinal», кардинальской гвардией, теми самыми гвардейцами кардинала. Так вот, в том же 1626 году Ришелье становится Гроссмейстером и Генеральным суперинтендантом мореплавания, навигации и торговли, и в 1627 году из роты гвардейцев кардинала создается «Гвардия Гроссмейстера мореплавания», и название меняется на «garde-marine», или «морскую гвардию». Собственно, именно из рот морской гвардии комплектовались на корабли первые морские солдаты для абордажей. Гвардейцы очень скоро заслужили репутацию храбрых и умелых воинов, но совершенно высокомерных и неуправляемых людей, которые везде бравировали своей службой кардиналу.

То есть на самом деле у монастыря Кармелиток нечаянно встретились французский аналог ВДВ и французские морпехи.