Тем временем обнаружилось, что нейросети тупеют из-за «быстрого контента». Учёные решили кормить искусственный интеллект мусорным контентом из интернета — мемы, короткие шитпосты и новости из всяких X и т.д.

В итоге ИИ деградировал. Потерял 23% в логике и 38% в понимании длинных текстов. Ещё пострадали этика и здоровое поведение, а нарциссизм и психопатия повысились.

Позже исследователи решили переобучить модели, но эффекта почти не было. Следы деградации остались.

Исследователи из Техаса выпустили ну очень интересную работу, вызвавшую волну обсуждений. Они показали, что если LLM начать дообучать на низкокачественных данных из соцсетей (коротких, популярных, кликабельных постах), то она начинает терять свои когнитивные способности. Примерно так же, как человек теряет внимание и память, когда слишком много думсерфит.

Разбираемся, почему так, с технической точки зрения.

По факту, эксперимент был следующий. Взяли Llama 3 8B Instruct и начали дообучать на (а) коротких и очень популярных постах, у которых много лайков, ретвитов и реплаев; и (б) на контенте с низкой смысловой ценностью: кликбейт, конспирология, все такое. После этого замерили метрики и сравнили с результатами до дообучения. Итоги:

– Качество ризонинга упало с 74.9 до 57.2
– Понимание длинного контекста – с 84.4 до 52.3
– На элаймент-тестах выяснилось, что у модели развился нарциссизм, макиавеллизм и психопатия

Даже после дополнительного тюнинга на чистых данных деградация не исчезала полностью.

Но дело в том, что никакого глобального открытия тут нет. Объясняется все это простым сдвигом распределения. При дообучении на коротких, популярных, эмоционально окрашенных твитах модель видит совсем другой статистический ландшафт, чем во время исходного претрейна на книжках, статьях и тд.

Это смещает распределение в пространстве эмбеддингов и меняет attention-паттерны. Модель постоянно видит короткие тексты без логической цепочки, и, естественно, маски внимания начинают больше фокусироваться на последних нескольких токенах и терять долгосрочные зависимости, которые раньше и обеспечивали качественный CoT.

Градиентная динамика тут тоже играет против нас. Лосс просто-напросто минимизируется за счет поверхностных корреляций, а параметры, отвечающие за долгие причинно-следственные связи, почти не получают обновлений. Вот и получается, что моделька теряет способность длинно рассуждать. Авторы называют этот феномен thought-skipping.

Позже исследователи решили переобучить модели, но эффекта почти не было. Следы деградации остались.

Теmр
Мне кажется, вот эта часть сомнительная:
Потому что, если эффект снижения перформанса - просто статистический сдвиг, то старые паттерны внимания можно восстановить, если дать достаточно книжек и статей. Ну то есть кто-то делает сенсацию из того, что дали недостаточно - и модель не переобучилась ¯\_(ツ)_/¯

Градиентная динамика тут тоже играет против нас. Лосс просто-напросто минимизируется за счет поверхностных корреляций, а параметры, отвечающие за долгие причинно-следственные связи, почти не получают обновлений.