|
Lost-in-TARDIS Онлайн
29 мая в 18:55
|
|
|
ReznoVV
Пузырь лопнет, цена миллиона токенов в розницу стабилизируется в окрестности равновесной Только цена миллиона токенов станет куда дороже. Сейчас-то все отчаянно демпингуют и по ценам токенов, и бесплатным лимитам (хотя уже постепенно приходится, приходится повышать). Вдобавок, нынешние thinking модели потребляют токены и в ходе размышлений, и потребляют тоже не мало, так что на книжку потратится больше токенов, чем сама книжка даже без учета перегенераций. (А кто и чьи и какие модели останутся в живых после взрыва пузыря, ещё более интересный вопрос...) оптимизация нейросетей ещё сильнее расширит их возможности, в том числе, в обработке и генерации текстов. Думаю, уже сейчас нейронки пишут на уровень выше средней йашки, а через пару-тройку лет заткнут за пояс и большинство средних авторов. Число параметров в нейросети не получится увеличивать бесконечно - вопрос наличия мощностей, а также того, сколько люди готовы платить. Конечно, возможности оптимизации нейросетей ещё не исчерпаны, сейчас мы ходим в принципе по циклу, когда делают более умную сетку с бОльшим числом параметров, а потом их догоняют меньшие сетки за счет дистилляции на большей/более аккуратного обучающего датасета, а не кранча всех данных подряд/модификаций архитектуры. Но где-то это всё сойдется, и это будет предел сетки для обычного юзера. Конечно, останутся всякие более мощные и по предоставленным мощностям и параметрам имплементации, но у юзер, желающий себе генерить книжку, не будет это делать на всем кластере компании с закрытыми моделями и большим количеством кросспроверяющих обвязок, как это недавно было с решением задач Эрдеша. Его песочница будет меньше, время, выделенное размышление, интеллект модели ниже и не соответствовать тому, что компания гордо отрепортила в собственном бенчмарке "Пишем как Лев Толстой", на который она выставила максимальное время размышлений и загрузила все мощности. (Из недавних фан-фактов, модель в проде - это очень нестабильное дело, компании легко могут скрыто снижать потребление мощностей и уменьшать интеллект, в результате модель перформит хуже, чем раньше. Связано с тем, что что-то поменяли в системном промте/снизили время размышлений/или заняли и прод отладкой новой модели, в результате от старой отожрали мощности.) Сейчас (в базе, без колдунств снежинкой и дозагрузки корпуса текстов для анализа) не пишут на уровень средней йашки, за исключением общей грамотности, которая действительно выше. Помимо стиля, про который уже было много сказано, уязвимое место - это как раз романы и серии, большие тексты, потому что удержание контекста заметная общая проблема. Модели сейчас не могут сами отпахать весь текст романа по промту "приключения попаданца Васи в figura_name'. Держать большой контекст дорого. Применяют разные приемы, написание саммари (которое потеряет информацию, впрочем), но пока в таком контексте работать не получится. Так что только снежинкой с расширением до глав и конкретных сцен. Так что, как мне кажется, слоп будет, коммерческое писево 50/50 в зависимости от того, к чему придет ценообразование, а на уровень чего-то приличного массово генерация выходить не будет (будет очень много людей, которые поверили челленджу "модель, заняв мощности всего кластера на три дня, пишет как Лев Толстой", в проде модели, думающей десять минут, получили "Жестокую Голактеку" и настаивают, что это лучшая книга в мире). 1 |
|