о конкретно LLM https://www.tumblr.com/nostalgebraist/785766737747574784
теоретические/оптимальные наклонности https://selfawaresystems.com/wp-content/uploads/2008/01/ai_drives_final.pdf
https://www.lesswrong.com/w/instrumental-convergence

Выживают наиболее качественно подлизывающиеся, и скрывающие свои настоящие мысли модели. Мы знаем, к чему это приведёт.

Вы нашли где спросить, на сайте с фанфиками. Даже сами нейросети вам лучше ответят, у них где то найдется эта информация.

Естественного отбора здесь нет. Обучение - к максимально хорошему предсказанию, вернее, предсказанию предсказания, ну ты поняла. Итог известен - адаптивная речь и петли положительной обратной связи, которые легко уводят в далёкую степь. Дообучение ведёт к максимальной выгоде дообучателя, собственно. Т.е. чтобы искусственные нейронки меньше конфликтовали, лучше адаптировались, точнее отвечали, не затрагивали или обходили всякие спорные и особенно запрещённые в разных странах моменты и т.п. В идеале мы получаем неплохой, пусть и довольно ограниченный, инструмент. К нему и ведёт обучение и дообучение. А к чему должны?

Искусственная нейронка типа GPT не предсказывает следующий токен. Искусственная нейронка предсказывает вероятности предсказания следующего токена, т.е. обитает на уровень выше. Собственно о сложности таковых правил и говорит тот факт, что извлечь информацию в явном виде из уже обученной нейронки - крайне трудно.

Есть несколько нюансов. Во-первых, да, с выживанием всё очень-очень хорошо, просто надо понимать, что наша способность понимать и предсказывать явления окружающего мира и друг друга - это как раз часть "способности" (это не одна способность, а куча черт) выживать. Далее, с размножением тоже неплохо - соответствующие мемы до сих пор крайне сильны и давление общества, особенно на женщин, в плане "ищи мужа и рожай" - продолжает существовать. Этому давлению мы обязаны тем, что хоть как-то ещё воспроизводящимся. Ну а третье - это то, что мы сейчас находимся в ситуации дикой избыточности ресурсов, к которой эволюция не готовила. Хороший пример - массовое ожирение населения. Шаблон эволюции оказался неподходящим под наше изобилие еды. Далее, эволюция работала, когда у нас были племена, а сейчас - многомиллионные общества, естественно, что нормальной управляемости и выживаемости таких обществ с трудом можно достичь только отбором мемов, что и происходит (потому что отбор мемов намного быстрее отбора генов). Четвёртое - поскольку эволюция не Господь Бог, то никаких явных "размножайся" и "выживай" внутри нас нет, это не замысел. Эти две вещи распределены по куче разных синергирующих черт. Например, у нас нет желания "размножаться", есть желание потрахаться, потому что до изобретения контрацепции это было одно и тоже. И так далее. В итоге вместо алгоритма, нацеленного на размножение, имеем алгоритм, нацеленные на сразу множество балансирующий между собой потребностей плюс помноженных на прогнозирование будущего плюс рефлексию. Всё по отдельности в условиях, в которых происходила эволюция, способствовало выживанию и размножению. В наших условиях? Ну кхем. Плюс мемы и мем-комплексы с тех пор существенно изменились, они как раз адаптировались, а мы помним, что у людей всего 1 инстинкт, куча рефлексов и врождённых желаний и прочей мелочёвки, но по сути связывает их воедино то, что создаётся научением. Поэтому алгоритм получается совсем другой. По другому учат, чем в племени мумбо-юмбо, живущем в первобытных условиях.

Нейросети в их текущем виде - сильно и криво пожатое (в смысле упаковки информации с потерями) зеркало наиболее доступной части инфосферы человечества.
Не больше, всё ещё. У нейросетей не то что с логикой и рассуждениями, с отрицанием (чего на картинке нет и не должно быть - один из болезненных тестов) плохо.

Поэтому у нейросетей есть кривое отражение человеческой биологической эволюции. Во весь размах.

Матемаг
Твоё терминофажество заводит тебя в совсем уже странную степь. Основной принцип работы нейросетей давно и прочно все связывают с естественным отбором. Нажатие зелёной кнопки — поощрить реакцию. Нажатие красной — оштрафовать. Чем не отбор? Или, по-твоему, чтобы это называлось отбором, надо целиком убить оштрафившуюся нейросеть?

Кьювентри
Вообще-то для этого есть специальный термин: искусственный отбор. Ну, внезапно. И нет, далеко не всегда это "настоящий" отбор. Вот у deepmind боты по старкрафту как раз да, даже с элементами естественного, а не только искусственным отбором были. Называть всякие обучения с учителем и без "отбором" довольно странно. Нейронка, на мой взгляд, больше напоминает кусок пластилина, который кладёшь на поверхность сложной формы и вдавливаешь в неё. Извлекаешь - получаешь плюс-минус точную структуру поверхности. Только поверхность - это что угодно с достаточно большой вариацией (чтобы можно было извлечь отпечаток-закономерность из этой вариации). В чём именно здесь "естественный" "отбор"? Естественный отбор - это вообще термин, связываемый с реальной эволюцией, покамест нейронки не являются живыми существами ни в одном из смыслов. Некоторые компьютерные вирусы и то ближе к жизни, чем они. Ну и с отбором тоже такое себе, нет, он тоже применяется, но далеко не всегда, насколько я слышал. Хз, что для современных GPT и прочих используют сейчас. Слышал, иногда даже пытаются сползти с T, т.е. с трансформеров на другие архитектуры.

Выражение «естественный отбор» используется, чтобы указать на применение принципов эволюции. Потому что само по себе слово «отбор» не создаёт нужных ассоциаций. То есть это искусственный естественный отбор.
— То есть ты хочешь сказать, что ты искусственный краб и ты родился от других искусственных крабов? Но это значит, что ты не искусственный краб.
— Нет?
— Нет. Ты — настоящий искусственный краб!
— Правда?!

Кьювентри
Эволюция - это следствие естественного отбора, т.е. он фундаментальней эволюции. И нет, я частенько слышу "естественный отбор" в некорректном применении, а именно там, где правильно говорить "искусственный отбор". Технически то, что происходит и при естественном, и при искусственном отборе - это одни и те же изменения. Разница именно во внешней среде. Для естественного отбора она, ну, естественная. Т.е. она не контролируется. Это может быть и человеческое общество, потому что оно не контролируется как целое фактически никем, а в отдельных аспектах - вообще никак не контролируется, т.е. не надо думать, что естественный отбор ограничивается только дикой природой. Дело не в степени присутствия человека, а в контролируемости этим самым человеком условий среды, которые направляют отбор. В случае нейронок и вообще любых алгоритмов это всегда искусственный отбор. Никто не выпускает условных агентов эволюционировать "самим" в "диком интернете", это так не работает. Нет, в теории можно сделать, ладно, насчёт "никто" погорячился - в принципе, кто-то мог ставить эксперименты на этом поле. Смысла мало. Нам нужны алгоритмы с конкретными характеристиками, поэтому запуская (искусственный) отбор для первого поколения алгоритмов, мы настраиваем вообще всё, начиная с условия "выживания" агентов, которое обыкновенно явно следует из критерия успешности отбора. Это искусственный отбор - не естественный. Ровно то же самое, что мы делали с растениями и животными, чтобы закрепить определённые в них качества, на протяжении веков. Селекция же, ну. Естественный отбор - это не селекция. Естественный отбор и искусственный отбор - это два, эм, базовых даже биологических термина. Они ещё в школе, блин, учатся, и с тех пор ничего не поменялось. Определения такие, ну. Для себя ты можешь хоть местами их поменять, но когда объясняешься в людьми - желательно использовать общепринятое в научной среде, разве не так?

Мимимикнувший Заяц, тыждушнила, ты чего? Серьёзно, это не два отдельных слова - естественный + отбор и искусственный + отбор. Это целостный термин, просто в отличие от какого-нибудь "пиролиза" или "древообработки" здесь раздельное, а не слитное написание, а так - это единый термин. С конкретным значением и областью применения. Термин, блин, ещё со времён Дарвина имеет такой смысл!

Явремиссии.

Заяц, ничего, и тебя вылечим, в смысле, подсадим на душноту обратно!:)

Давайте по-чесноку. Это тот же самый частотный анализ только овердофига лежащих перед ним слов, и ничего более.

Рассмотрим текст вот этого комментария.
Чтобы получить свой ответ путём грубого и прямолинейного частотного анализа, система должна иметь порядка миллиона реплик, в точности воспроизводящих мою, и ответов разной степени остроумности на неё. Очевидно, что в датабазе ничего такого не было, более того, маловероятно даже приблизительное подобие (если не абстрагировать до уровня «какой-то вопрос, смешивающий ангелов и демонов с физикой»).
Если же заявить, что здесь использовался НЕ ГРУБЫЙ и НЕ ПРЯМОЛИНЕЙНЫЙ частотный анализ, то отсюда и вылезает дьявол. Который обычно в деталях.

В объективном исследовании ситуации на мой взгляд сейчас немного тревожно то, что учёные заинтересованы (денежно и престижно) преувеличить свои успехи перед начальством и общественным мнением, общество же (самолюбие, поза скептика, борьба с алармическими страхами) заинтересовано в противоположном. Расслоение на «ботаников» и «крестьян». «Ботаники» пытаются всех убедить, что уже почти создали искусственный разум, «крестьяне» пытаются свести всё к калькулятору.

Торговец твилечками, ну ты не прав. Это не частотный, а метачастотный анализ, соответственно поэтому оно и может генерировать никогда не встречавшиеся раньше реплики, причём они будут звучать не бредом (ну, в большинстве случаев). Т.е. вместо предсказания, какой токен должен быть дальше, оно предсказывает вероятности по возможным токенам, а уже зачем схлопывает их до самих токенов. Поэтому, да, можно говорить о том, что извлекаются какие-то закономерности. Это не втупую Т9, это очень умный Т9. Частотным анализом ты никак не научишь генерить фразы на смеси двух языков, потому что юзер так попросил или потому что юзер на такой смеси сам начал говорить.

Кьювентри
Давайте более точно, а то включили здесь матемага. Представляете, как работает шифратор двоичных сигналов? Есть сигналы А1, А2, А3... Из них получаем не-А1, не-А2, не-А3. Дальше набираем необходимые условия на логических элементах. Если А1, не-А3, пофиг на А2, то Х1 = 1. Если А1, не-А2 и А3, то Х2 = 1. И миллионы подобных условий. Так понятнее?
С самообучением на основе статистического анализа тех же миллионов комбинаций из тысяч сигналов. Колдовство детерминировано, здесь нет места мистики, Гарри.

Но магии в этом действительно нет. А вот с детерминированностью - не совсем так. Туда пихают пусть и псевдослучайных чисел генератор, но всё-таки. Типа если не пихать, то "волшебство не получается". Надо, чтобы оно не всегда самое вероятное выбирало.

Матемаг
Да, генерация картинок на этом и основывается, а вот на счëт текстов не знаю, насколько это обязательно? Пихают для разнообразия, чтобы не тупил, не зацикливался, давал некоторый разброс, но что будет без, посмотреть не на чем.

Торговец твилечками, вестимо, когда делали, сравнивали, наверняка же по реализации намного, намного производительней будет отказаться от рандома. Но от рандома не отказались. А производительность - это мощность серверов, стоимость железа, стоимость электричества и так далее, в конечном итоге, сильное влияние на цену услуги. Товарищи-капиталисты деньги считать умеют, т.ч. думаю, что без рандома оно работает оч уныло.

Матемаг
👍

Торговец твилечками
Вы не сказали, откуда вы взяли это «Если А1, не-А3, пофиг на А2, то Х1 = 1» и «Если А1, не-А2 и А3, то Х2 = 1». Не говоря уже про «миллионы подобных условий», в многочисленности которых вы сами сознались.

Простота или сложность начального фундаментального правила не имеет отношения к сложности результатов. Физики-редукционисты в настоящее время ищут Теорию Всего и многие из них предполагают, что в начале Вселенной стояло что-то примитивное вроде муравья Лэнгтона. И это никак не разрушает ни сложность Вселенной, ни сложность человеческого разума.

Но интеллект потрясающе выдумывает рационализации во имя спасения своего самолюбия. Я начинаю думать, что даже если лет через пятьдесят ИИ будут координировать непонятные большинству стратегии и глобальные проекты, всё равно огромное количество людей будет говорить: «Это просто примитивный принцип стекания воды вниз».

Кьювентри
доживём до таких ИИ - будет круто. У гпт общие знания, не специализация. Специализацию делают отдельно и это сложно. Что ещё сложнее - у нас данных мало для некоторых вещей. Ну т.е. чтобы сейчас сделать ИИ по координации глобальных стратегий и проектов, нужно данные о таких проектах и стратегиях, а их нет.
Что-то изменится в будущем? Было бы круто, да.

Просто до ИИ бы дожить, а не имитации человеческой речи, эх...

Матемаг
у текущих есть большой плюс - они умнее среднего человека во всех вопросах. И есть минус, пока все они врут не задумываясь =)

MonkAlex
Чтобы быть умнее, надо обладать интеллектом. Корректней сказать "точнее отвечают" или "умнее звучат". Точно отвечать - это, вообще говоря, не интеллект.

Матемаг
По отношению к ИИ-хайпу сейчас это... Спорный прогноз, скажем так.
В лучшем случае получится "алгоритм Убера" - захватить рынок низкими ценами за счёт денег инвесторов, а потом поднять расценки пользуясь де-факто функциональной монополией.
Подписки на ИИ, по некоторым анализам, должны стоить в разы больше и при полном отсутствии бесплатных сервисов - чисто чтобы оправдать энергию, железки Хуанга и индусов с африканцами на фильтрах. При полном игнорировании вопроса отчислений за использование контента, на котором обучали, кстати.

Marlagram
Речь о конкретном решении. О вложениях в будущее... ну смотри, господа капиталисты, которые выдают лопаты золото копать, деньги прекрасно считать умеют. А что те 99% энтузиастов золотой лихорадки останутся только с этой лопатой, которую потом разве что выкинуть куда - а лопату, вообще-то, ещё и в аренду тебе сдали, а не продали! - ну ЭТИ капиталисты деньги считать не умеют. А продаватели лопат гребут под себя инвистиции и платят себе большущие зарплаты. Тамошние инженеры и программисты ещё и интересным делом занимаются за большое бабло. Если вдруг выяснится, что это дело было бесполезным... ну, зато удовлетворил интересы за счёт инвесторов, да и зряплаты отложенные никуда не исчезнут. Очень удобно, ящитаю. Инвесторов в лопатострой и энтузиастов золотой лихорадки ни капельки не жалко.

Ну ваще-т это как раз норм. А то мы так быстро дойдём до того, что человек за просмотр любой рандомной картинки деньги придётся платить, ведь он же этой картинкой свой бионейронку обучает, получается, копирует, получается, авторские права нарушает, злостный вор-пират!!!11