Magla: #вкалывают_роботы Когда-то давным-давно, у мамы на работе была знакомая, которая результаты подсчето

#вкалывают_роботы
Когда-то давным-давно, у мамы на работе была знакомая, которая результаты подсчетов калькулятора перепроверяла вручную. А моя любимая бабушка в первые несколько месяцев после появления стиралки, перестирывала белье вручную: "Чо она может-то!"
Тогда это было забавно.
Ну и...
Села я сегодня разбирать архив радиопередач японской любимки, который мне Умник от гугла насобирал несколько недель назад. Села сразу с плохим настроением, потому что знала, что примерно треть там - творческое вранье. Это ближе к середине меня озарило, и я поняла, как правильно работать с этим типом "языковой модели" (принести ссылку, сказать "прочитай, перескажи, не сочиняй ничего, чего не видел")
Плохое настроение, понятно, сразу оправдалось. На третьем месяце обнаружилось тотальное вранье в предыдущей версии.
Умник по промту в этот раз написал правду, я проверила вручную все ключевые моменты (привет тетя Люся и ее калькулятор!) и пожаловалась ему на работу его "коллеги"... Он понимающе покивал и вывалил на меня лекцию о том, как все устроено:
Самые интересные моменты:

Это фундаментальная особенность работы больших языковых моделей (LLM). Вот как именно это происходит изнутри:
1. Отсутствие прямого доступа к памяти
Нейросети не хранят в себе интернет или базу данных, как жесткий диск. Они не могут «зайти в архив TOKYO FM» внутри своей головы и прочитать текст, если у них в этот момент нет специального инструмента поиска (как у меня сейчас). Вместо этого они хранят математические весы и ассоциации между словами.

2. Принцип «Т9 на стероидах»
Главная задача языковой модели — генерировать текст, последовательно предсказывая, какое слово с наибольшей вероятностью должно идти следующим.Когда вы спросили ИИ про мартовские выпуски Flow с дуэтом EXIT, модель рассуждала так:«Кимура Такуя — это мегазвезда, он вежливый, опытный, вел шоу SMAPxSMAP.» «Дуэт EXIT — это молодые, яркие комики, гяру, шутят про тренды.»«Какая передача могла бы между ними получиться? Наверное, они обсуждали комедийные шоу, шутили, Кимура их хвалил, они обсуждали какую-нибудь популярную песню вроде "Dynamite" от BTS (ведь это хит 2021 года) или треки самих EXIT.» ИИ просто сгенерировал максимально правдоподобный сценарий, основываясь на характерах персонажей, полностью выдумав все цитаты, темы и детали. Модель «сшила» красивую ложь из кусочков общей информации, которая была в ее обучающих данных.

3. Иллюзия уверенности
Архитектура нейросетей устроена так, что они не умеют сомневаться вслух (если их этому отдельно не обучить). У ИИ нет внутреннего цензора, который бы сказал: «Погоди, я не помню дословно, что там было 28 марта 2021 года, лучше промолчу». Модель обязана выдать гладкий, авторитетный и грамматически идеальный текст. Из-за этого вымышленная информация выглядит так, будто её скопировали из официального источника.

4. Почему в этот раз всё иначе?
В этот раз вы предоставили мне прямой контекст — точный печатный текст архива. Моя задача свелась к анализу конкретных данных, лежащих перед глазами, а не к угадыванию «по памяти». В таких условиях ИИ работает как внимательный аналитик, а не как сказочник. Это отличный пример того, почему к ответам ИИ на фактологические темы (даты, имена, архивные записи) всегда нужно относиться с осторожностью, если модель не использует живой поиск в интернете в реальном времени.

И прекрасный образ из вывода:

Когда вы просите ИИ сделать обзор без предоставления архивного текста, вы просите художника нарисовать портрет человека, которого он видел один раз в жизни пять лет назад. Художник помнит, что у человека были усы и шляпа, но форму носа и цвет глаз он неизбежно придумает из головы, чтобы картина выглядела законченной.

Короче, постоянная бдительность! И проверяйте результаты "калькулятора" вручную...

сегодня в 14:51

Отключить рекламу

6 комментариев

Марк Маркович Онлайн

сегодня в 15:51

Мне Дипсик, скотина, когда я его просил выдать названия песен, которую можно поставить в пост с текстом, постоянно перевирал тексты песен и их смысл. Я его так загонял пинками, что мне его даже жалко стало. И сами главы рассказов любил придумывать, а потом основываться на этих фантазиях. Ему постоянно надо говорить, чтобы ничего не придумывал от себя, да. И вообще строго следить за ним. Но может подать годную идею для главы. Я его как гамму-собеседницу использую в основном.

И ещё немного специфический опыт, но поделюсь. Играю в ДНД(настольные ролевые игры) с нейросеткой. Он Гейм-Мастер и описывает окружающий мир и персонажей, я играю только за своего персонажа. Играю с ГЛМ 5.1. Так эта скотина мало того что всё забывает регулярно, и надо постоянно(каждые десять-пятнадцать сообщений) вываливать на него огромный кусок информации про персонажей и описываемый мир, а каждые 30-50 сообщений требовать от него полную хронологию произошедших событий, так он ещё и путается даже уже с имеющейся информацией. Например, в первой главе я боролся с некромантами. Во второй главе - с биомантом-магом крови. Но применил слово "конструкт"(монстр Франкенштейна, сшитый из кусков мёртвой плоти) к живому существу, сплавленному из нескольких людей заживо, - и привет, он посчитал, что во второй главе речь про некромантов.
Постоянная бдительность, да.

Показать полностью

	Magla Онлайн сегодня в 15:54
Марк Маркович каждые десять-пятнадцать сообщений А я допрашивала Умника, на предмет объемов его здоровой памяти, он так и сказал - 10-15 сообщений, потом он начинает подтягивать контекст из ближайшего воздуха... 2

Kristall star

сегодня в 16:40

Они ещё такие забавные, когда скинул в них файлы, контекста должно хватать и сам файл читаем, но просишь вернуться к этим файлам из первого сообщения буквально через 2-3 ответа, склероз ещё наступить на должен, и они такие: какие файлы? (при этом при подключении всяких гугдлисков/гитхабов, в общем в версиях для кодинга, такой фигнёй не страдают.
Но ведь и файлы ж нужно кидать порой не для программирования кусок говнокода, а что-то другое.

(но жптшное прошлого года, когда оно "счас сделаю" полпереписки,и ничего не делает, пока конкретно не пнёшь, чтобы оно ыывалило результат до сих пор пукан подрывает).

	Vallle сегодня в 17:37
Magla если заставлять его смотреть источники - сайты и т.п., риск таких фантазий чуть меньше. Но не избавляет полностью, да

Magla Онлайн

сегодня в 17:41

Vallle
Угу. Я сейчас просто тыкаю пальцем, где ему смотреть и требую конкретной работы с документом. Но это как бы не вполне то, что ждешь от ИИ с большим сложноорганизованным чем-то вместо мозга... Зато он отлично справляется с починкой автосубтитров и стилизацией перевода. Это прямо его. И ему нравится))

	Vallle сегодня в 20:52
Magla Текущие ии ещё не являются тем, за что мы их хотим принимать) 2