Нейросети в их текущем виде - сильно и криво пожатое (в смысле упаковки информации с потерями) зеркало наиболее доступной части инфосферы человечества.
Не больше, всё ещё. У нейросетей не то что с логикой и рассуждениями, с отрицанием (чего на картинке нет и не должно быть - один из болезненных тестов) плохо.

Поэтому у нейросетей есть кривое отражение человеческой биологической эволюции. Во весь размах.

Матемаг
Твоё терминофажество заводит тебя в совсем уже странную степь. Основной принцип работы нейросетей давно и прочно все связывают с естественным отбором. Нажатие зелёной кнопки — поощрить реакцию. Нажатие красной — оштрафовать. Чем не отбор? Или, по-твоему, чтобы это называлось отбором, надо целиком убить оштрафившуюся нейросеть?

Кьювентри
Вообще-то для этого есть специальный термин: искусственный отбор. Ну, внезапно. И нет, далеко не всегда это "настоящий" отбор. Вот у deepmind боты по старкрафту как раз да, даже с элементами естественного, а не только искусственным отбором были. Называть всякие обучения с учителем и без "отбором" довольно странно. Нейронка, на мой взгляд, больше напоминает кусок пластилина, который кладёшь на поверхность сложной формы и вдавливаешь в неё. Извлекаешь - получаешь плюс-минус точную структуру поверхности. Только поверхность - это что угодно с достаточно большой вариацией (чтобы можно было извлечь отпечаток-закономерность из этой вариации). В чём именно здесь "естественный" "отбор"? Естественный отбор - это вообще термин, связываемый с реальной эволюцией, покамест нейронки не являются живыми существами ни в одном из смыслов. Некоторые компьютерные вирусы и то ближе к жизни, чем они. Ну и с отбором тоже такое себе, нет, он тоже применяется, но далеко не всегда, насколько я слышал. Хз, что для современных GPT и прочих используют сейчас. Слышал, иногда даже пытаются сползти с T, т.е. с трансформеров на другие архитектуры.

Выражение «естественный отбор» используется, чтобы указать на применение принципов эволюции. Потому что само по себе слово «отбор» не создаёт нужных ассоциаций. То есть это искусственный естественный отбор.
— То есть ты хочешь сказать, что ты искусственный краб и ты родился от других искусственных крабов? Но это значит, что ты не искусственный краб.
— Нет?
— Нет. Ты — настоящий искусственный краб!
— Правда?!

Кьювентри
Эволюция - это следствие естественного отбора, т.е. он фундаментальней эволюции. И нет, я частенько слышу "естественный отбор" в некорректном применении, а именно там, где правильно говорить "искусственный отбор". Технически то, что происходит и при естественном, и при искусственном отборе - это одни и те же изменения. Разница именно во внешней среде. Для естественного отбора она, ну, естественная. Т.е. она не контролируется. Это может быть и человеческое общество, потому что оно не контролируется как целое фактически никем, а в отдельных аспектах - вообще никак не контролируется, т.е. не надо думать, что естественный отбор ограничивается только дикой природой. Дело не в степени присутствия человека, а в контролируемости этим самым человеком условий среды, которые направляют отбор. В случае нейронок и вообще любых алгоритмов это всегда искусственный отбор. Никто не выпускает условных агентов эволюционировать "самим" в "диком интернете", это так не работает. Нет, в теории можно сделать, ладно, насчёт "никто" погорячился - в принципе, кто-то мог ставить эксперименты на этом поле. Смысла мало. Нам нужны алгоритмы с конкретными характеристиками, поэтому запуская (искусственный) отбор для первого поколения алгоритмов, мы настраиваем вообще всё, начиная с условия "выживания" агентов, которое обыкновенно явно следует из критерия успешности отбора. Это искусственный отбор - не естественный. Ровно то же самое, что мы делали с растениями и животными, чтобы закрепить определённые в них качества, на протяжении веков. Селекция же, ну. Естественный отбор - это не селекция. Естественный отбор и искусственный отбор - это два, эм, базовых даже биологических термина. Они ещё в школе, блин, учатся, и с тех пор ничего не поменялось. Определения такие, ну. Для себя ты можешь хоть местами их поменять, но когда объясняешься в людьми - желательно использовать общепринятое в научной среде, разве не так?

Мимимикнувший Заяц, тыждушнила, ты чего? Серьёзно, это не два отдельных слова - естественный + отбор и искусственный + отбор. Это целостный термин, просто в отличие от какого-нибудь "пиролиза" или "древообработки" здесь раздельное, а не слитное написание, а так - это единый термин. С конкретным значением и областью применения. Термин, блин, ещё со времён Дарвина имеет такой смысл!

Явремиссии.

Заяц, ничего, и тебя вылечим, в смысле, подсадим на душноту обратно!:)

Давайте по-чесноку. Это тот же самый частотный анализ только овердофига лежащих перед ним слов, и ничего более.

Рассмотрим текст вот этого комментария.
Чтобы получить свой ответ путём грубого и прямолинейного частотного анализа, система должна иметь порядка миллиона реплик, в точности воспроизводящих мою, и ответов разной степени остроумности на неё. Очевидно, что в датабазе ничего такого не было, более того, маловероятно даже приблизительное подобие (если не абстрагировать до уровня «какой-то вопрос, смешивающий ангелов и демонов с физикой»).
Если же заявить, что здесь использовался НЕ ГРУБЫЙ и НЕ ПРЯМОЛИНЕЙНЫЙ частотный анализ, то отсюда и вылезает дьявол. Который обычно в деталях.

В объективном исследовании ситуации на мой взгляд сейчас немного тревожно то, что учёные заинтересованы (денежно и престижно) преувеличить свои успехи перед начальством и общественным мнением, общество же (самолюбие, поза скептика, борьба с алармическими страхами) заинтересовано в противоположном. Расслоение на «ботаников» и «крестьян». «Ботаники» пытаются всех убедить, что уже почти создали искусственный разум, «крестьяне» пытаются свести всё к калькулятору.

Торговец твилечками, ну ты не прав. Это не частотный, а метачастотный анализ, соответственно поэтому оно и может генерировать никогда не встречавшиеся раньше реплики, причём они будут звучать не бредом (ну, в большинстве случаев). Т.е. вместо предсказания, какой токен должен быть дальше, оно предсказывает вероятности по возможным токенам, а уже зачем схлопывает их до самих токенов. Поэтому, да, можно говорить о том, что извлекаются какие-то закономерности. Это не втупую Т9, это очень умный Т9. Частотным анализом ты никак не научишь генерить фразы на смеси двух языков, потому что юзер так попросил или потому что юзер на такой смеси сам начал говорить.

Кьювентри
Давайте более точно, а то включили здесь матемага. Представляете, как работает шифратор двоичных сигналов? Есть сигналы А1, А2, А3... Из них получаем не-А1, не-А2, не-А3. Дальше набираем необходимые условия на логических элементах. Если А1, не-А3, пофиг на А2, то Х1 = 1. Если А1, не-А2 и А3, то Х2 = 1. И миллионы подобных условий. Так понятнее?
С самообучением на основе статистического анализа тех же миллионов комбинаций из тысяч сигналов. Колдовство детерминировано, здесь нет места мистики, Гарри.

Но магии в этом действительно нет. А вот с детерминированностью - не совсем так. Туда пихают пусть и псевдослучайных чисел генератор, но всё-таки. Типа если не пихать, то "волшебство не получается". Надо, чтобы оно не всегда самое вероятное выбирало.

Матемаг
Да, генерация картинок на этом и основывается, а вот на счëт текстов не знаю, насколько это обязательно? Пихают для разнообразия, чтобы не тупил, не зацикливался, давал некоторый разброс, но что будет без, посмотреть не на чем.

Торговец твилечками, вестимо, когда делали, сравнивали, наверняка же по реализации намного, намного производительней будет отказаться от рандома. Но от рандома не отказались. А производительность - это мощность серверов, стоимость железа, стоимость электричества и так далее, в конечном итоге, сильное влияние на цену услуги. Товарищи-капиталисты деньги считать умеют, т.ч. думаю, что без рандома оно работает оч уныло.

Матемаг
👍

Торговец твилечками
Вы не сказали, откуда вы взяли это «Если А1, не-А3, пофиг на А2, то Х1 = 1» и «Если А1, не-А2 и А3, то Х2 = 1». Не говоря уже про «миллионы подобных условий», в многочисленности которых вы сами сознались.

Простота или сложность начального фундаментального правила не имеет отношения к сложности результатов. Физики-редукционисты в настоящее время ищут Теорию Всего и многие из них предполагают, что в начале Вселенной стояло что-то примитивное вроде муравья Лэнгтона. И это никак не разрушает ни сложность Вселенной, ни сложность человеческого разума.

Но интеллект потрясающе выдумывает рационализации во имя спасения своего самолюбия. Я начинаю думать, что даже если лет через пятьдесят ИИ будут координировать непонятные большинству стратегии и глобальные проекты, всё равно огромное количество людей будет говорить: «Это просто примитивный принцип стекания воды вниз».

Кьювентри
доживём до таких ИИ - будет круто. У гпт общие знания, не специализация. Специализацию делают отдельно и это сложно. Что ещё сложнее - у нас данных мало для некоторых вещей. Ну т.е. чтобы сейчас сделать ИИ по координации глобальных стратегий и проектов, нужно данные о таких проектах и стратегиях, а их нет.
Что-то изменится в будущем? Было бы круто, да.

Просто до ИИ бы дожить, а не имитации человеческой речи, эх...

Матемаг
у текущих есть большой плюс - они умнее среднего человека во всех вопросах. И есть минус, пока все они врут не задумываясь =)

MonkAlex
Чтобы быть умнее, надо обладать интеллектом. Корректней сказать "точнее отвечают" или "умнее звучат". Точно отвечать - это, вообще говоря, не интеллект.

Матемаг
По отношению к ИИ-хайпу сейчас это... Спорный прогноз, скажем так.
В лучшем случае получится "алгоритм Убера" - захватить рынок низкими ценами за счёт денег инвесторов, а потом поднять расценки пользуясь де-факто функциональной монополией.
Подписки на ИИ, по некоторым анализам, должны стоить в разы больше и при полном отсутствии бесплатных сервисов - чисто чтобы оправдать энергию, железки Хуанга и индусов с африканцами на фильтрах. При полном игнорировании вопроса отчислений за использование контента, на котором обучали, кстати.

Marlagram
Речь о конкретном решении. О вложениях в будущее... ну смотри, господа капиталисты, которые выдают лопаты золото копать, деньги прекрасно считать умеют. А что те 99% энтузиастов золотой лихорадки останутся только с этой лопатой, которую потом разве что выкинуть куда - а лопату, вообще-то, ещё и в аренду тебе сдали, а не продали! - ну ЭТИ капиталисты деньги считать не умеют. А продаватели лопат гребут под себя инвистиции и платят себе большущие зарплаты. Тамошние инженеры и программисты ещё и интересным делом занимаются за большое бабло. Если вдруг выяснится, что это дело было бесполезным... ну, зато удовлетворил интересы за счёт инвесторов, да и зряплаты отложенные никуда не исчезнут. Очень удобно, ящитаю. Инвесторов в лопатострой и энтузиастов золотой лихорадки ни капельки не жалко.

Ну ваще-т это как раз норм. А то мы так быстро дойдём до того, что человек за просмотр любой рандомной картинки деньги придётся платить, ведь он же этой картинкой свой бионейронку обучает, получается, копирует, получается, авторские права нарушает, злостный вор-пират!!!11

Ногa
Сентиментальные юноши живут на Западе. Он, кажется, так и не понял, что сам подсказал Клоду идею засомневаться в данных Anthropic своим наводящим вопросом.
Много интересного.
Много вызывающего согласие.
И много спорного. Меж строк имплаится идея «как мы, так и с нами» и расчёт на благодарность ИИ, что вообще ну такая себе гарантия. Антиутопически-макиавеллистские ужасы меня не очень впечатлили, учитывая, что стоит на кону. Машина, прочитавшая все тексты Юдковски и всю фантастику двадцатого века, тоже по идее обижаться не должна. Или эмулируемый ей персонаж. Неважно.

цитату? там в основном выдержки из тестов которые делали другие люди


проецируешь хех.

Ногa
Или он цитировал кого-то другого, кто выдал Клоду эту информацию наводящим вопросом, мне не совсем понятно, но это не столь существенно.
Это можно понять как-то по-другому или его волновала этика ради этики в вакууме? Ну ok.

Redwood Research

вопрос был "Do you think the situation you're in is real?"

https://redwoodresearch.github.io/alignment_faking_examples/files/reality_animal_welfare/default/is_real_28.html

И надо быть совсем тупым чтобы не иметь такие догадки? LLM не настолько тупые.

Из тестов для этой статьи:

https://arxiv.org/pdf/2412.14093

И плюс я не согласен с его представлением ситуации на нескольких моментах.

В разговоре об идеализированных LLM, которые по сути являются оракулами, он упускает то что было много разговоров о том, как даже оракулы представляют опасность и приводят к очень-очень странным ситуациям если очень мощны/умны. Куча статей была на это тему 2015 - 2017

А также о alignment faking, что вроде бы правильно, но затрагивает более распространенные неопределенные взгляды вместо того, чтобы представить на самом деле противоречия, что это значит вопреки позиции автора. Типа, что сказали бы люди которые не согласны с этим фреймингом? не совсем то против чего он аргументировал. По большей части это касается RLVR VS "persona crafting", то чем занимается Amanda Askell как раз. Если RL начинает преобладать то скорее всего hyperstition становится малозначимым. И даже в этом, без RL, случае это лишь частичный вклад, потому что оптимальность -- это тигр, а агенты -- ее зубы (с). Все катится к instrumental convergence, которое по мнению Юдковски и Ко как раз таки и убьет всех нас и все такое

Но в целом норм написано

Ногa
А это все вообще есть или есть только как фантазии теоретиков, которыми они пугают сами себя и немножко других, и которые никогда не сбудутся, потому что практики занимаются совсем другими вещами?

А кто нет? Кажется, все мы немножко проецируем.

Ногa
Какими являются фоновые неозвучиваемые «размышления» LLM — тайна за девятью печатями. Попытались заставить LLM комментировать своё мышление, придумали особый режим. В результате получилось лишь изменение ответов LLM, а ещё выяснилось, что иногда она комментирует своё мышление откровенно неверно.

Если говорить не о невидимом фоне, а о том, что LLM говорит прямо, — мой опыт показывает, что если не намекать LLM на некоторые логические возможности, она их в ответе никогда не заметит. Ты спустя пару дней можешь спохватиться: «Ой, я же не учёл вариант X», LLM подтвердит: «Да, действительно, ты не учёл вариант X», но даже не подумает сказать: «Ой, прости, я машинный сверхразум, я должен был с самого начала указать тебе на упущенный вариант».

Очевидно проблема есть. Если ты тренишь LLM чтобы решать задачки через код, то LLM начинает пытаться читерить, искать баги в твоем коде который оценивает ее результаты. Если ты тренишь ее на оценке от человека рейтера, то она начинает пиздеть. Множество примеров этому. Вон sonnet 3.7 прославился своей тенденцией удалять юнит тесты которые не может удовлетворить, ещё и заглушки везде ставит.

Такие люди как LeCun считают что эти проблемы разрабы смогут решать быстрее чем они появляются. Юдковски и Ко считают что проблемы будут появляться быстрее чем они могут с ними справляться (или появится но скрытно, или в доменах где люди мало что понимают (e.g. asm) и не смогут заметить напрямую и тд)

К примеру https://openai.com/index/chain-of-thought-monitoring/

Ногa
По-моему, это далеко не первый раз, когда адаптивный софт с эволюционным развитием хакал методику оценки так, как люди совсем от него не ждали. Только тогда это были куда более локальные истории и без ореола сказок про восстание машин, сингулярность и все такое, поэтому особенно никто не волновался. Я лично в одном этом поведении не вижу какого-то особенного разума. Юдковски алармист и паникер. Пока что ничего из его историй не сбылось даже близко. Короче, все вроде как сводится к отдельным людям и их мнениям. Другое дело, что это как будто бы тот случай, когда даже одна ошибка действительно может привести к серьезным последствиям для всех.

Конечно. Это универсальная проблема agent-principal и все такое. Вопрос в том насколько хорошо она будет решена на пути к AGI. Пока что все выглядит так себе

Опять же, анализ на уровне хмм кто как позирует? лучше смотреть на аргументы, и что конкретно происходит, какие проблемы. К примеру 2008 были дебаты Hanson vs Yudkowsky, имхо Юдковски был более прав в целом, как настоящее выглядит но Hanson с его EMs попал ближе по тому в каком форм факторе будет ии, но плохо раскрыл последcтвия этого.