Из тестов для этой статьи:

https://arxiv.org/pdf/2412.14093

И плюс я не согласен с его представлением ситуации на нескольких моментах.

В разговоре об идеализированных LLM, которые по сути являются оракулами, он упускает то что было много разговоров о том, как даже оракулы представляют опасность и приводят к очень-очень странным ситуациям если очень мощны/умны. Куча статей была на это тему 2015 - 2017

А также о alignment faking, что вроде бы правильно, но затрагивает более распространенные неопределенные взгляды вместо того, чтобы представить на самом деле противоречия, что это значит вопреки позиции автора. Типа, что сказали бы люди которые не согласны с этим фреймингом? не совсем то против чего он аргументировал. По большей части это касается RLVR VS "persona crafting", то чем занимается Amanda Askell как раз. Если RL начинает преобладать то скорее всего hyperstition становится малозначимым. И даже в этом, без RL, случае это лишь частичный вклад, потому что оптимальность -- это тигр, а агенты -- его зубы (с). Все катится к instrumental convergence, которое по мнению Юдковски и Ко как раз таки и убьет всех нас и все такое

Но в целом норм написано

Ногa
А это все вообще есть или есть только как фантазии теоретиков, которыми они пугают сами себя и немножко других, и которые никогда не сбудутся, потому что практики занимаются совсем другими вещами?

А кто нет? Кажется, все мы немножко проецируем.

Ногa
Какими являются фоновые неозвучиваемые «размышления» LLM — тайна за девятью печатями. Попытались заставить LLM комментировать своё мышление, придумали особый режим. В результате получилось лишь изменение ответов LLM, а ещё выяснилось, что иногда она комментирует своё мышление откровенно неверно.

Если говорить не о невидимом фоне, а о том, что LLM говорит прямо, — мой опыт показывает, что если не намекать LLM на некоторые логические возможности, она их в ответе никогда не заметит. Ты спустя пару дней можешь спохватиться: «Ой, я же не учёл вариант X», LLM подтвердит: «Да, действительно, ты не учёл вариант X», но даже не подумает сказать: «Ой, прости, я машинный сверхразум, я должен был с самого начала указать тебе на упущенный вариант».

Очевидно проблема есть. Если ты тренишь LLM чтобы решать задачки через код, то LLM начинает пытаться читерить, искать баги в твоем коде который оценивает ее результаты. Если ты тренишь ее на оценке от человека рейтера, то она начинает пиздеть. Множество примеров этому. Вон sonnet 3.7 прославился своей тенденцией удалять юнит тесты которые не может удовлетворить, ещё и заглушки везде ставит.

Такие люди как LeCun считают что эти проблемы разрабы смогут решать быстрее чем они появляются. Юдковски и Ко считают что проблемы будут появляться быстрее чем они могут с ними справляться (или появится но скрытно, или в доменах где люди мало что понимают (e.g. asm) и не смогут заметить напрямую и тд)

К примеру https://openai.com/index/chain-of-thought-monitoring/

Ногa
По-моему, это далеко не первый раз, когда адаптивный софт с эволюционным развитием хакал методику оценки так, как люди совсем от него не ждали. Только тогда это были куда более локальные истории и без ореола сказок про восстание машин, сингулярность и все такое, поэтому особенно никто не волновался. Я лично в одном этом поведении не вижу какого-то особенного разума. Юдковски алармист и паникер. Пока что ничего из его историй не сбылось даже близко. Короче, все вроде как сводится к отдельным людям и их мнениям. Другое дело, что это как будто бы тот случай, когда даже одна ошибка действительно может привести к серьезным последствиям для всех.

Конечно. Это универсальная проблема agent-principal и все такое. Вопрос в том насколько хорошо она будет решена на пути к AGI. Пока что все выглядит так себе

Опять же, анализ на уровне хмм кто как позирует? лучше смотреть на аргументы, и что конкретно происходит, какие проблемы. К примеру 2008 были дебаты Hanson vs Yudkowsky, имхо Юдковски был более прав в целом, как настоящее выглядит но Hanson с его EMs попал ближе по тому в каком форм факторе будет ии, но плохо раскрыл последcтвия этого.

Superintelligence Бострома было как раз хмм вдохновлено Юдковски, по его идеям. И отлично прошло тест временем.

Ногa
Интересно под «Арию» такие вещи читать. До сознания доходит не всё, но становится так бодренько страшно, приятный такой страх, как в молодости. Чувствуешь себя живее.
«Казалось, сдохнешь как все, как миллиарды миллиардов мух, не дочитав до последней страницы детектива? Не-е-е, дядя Бостром был прав... или нет».
Одно пугает: возможность увидеть всё, но не суметь понять, что я вижу.
Как тот чувак из SCP-5000.

Ногa
https://old-wiki.lesswrong.com/wiki/The_Hanson-Yudkowsky_AI-Foom_Debate

Это вот эти дебаты или что? Я попробовал погуглить и даже не понял: "Дебаты" это название для серии постов или они таки встречались и о чем-то действительно говорили в реале?

Попробовал почитать пару случайных постов Юдковского. Общие впечатления следующие. Он теоретик. Ему не интересны выводы, ему интересен сам процесс. Он достаточно бессвязно мыслит, и все в целом это мало похоже на дебаты или связное обсуждение, это какие-то потоки сознания вокруг каких-то тем... Причем, постоянно перескакивает с одного на другое, слегка любуясь своим выдающимся интеллектом. В итоге, расплодили кучу текста, но понятнее не стало. Понадобилось даже целую книжку потом написать по всем этим дебатам. Причем, сами они не осилили, свалили на какую-то девочку.

Заодно почитал предсказания Рэя Курцвела, это правда забавно спустя 26 лет. И поучительно.

https://www.lesswrong.com/posts/yyiyz34p6QxWBmZ9k/disappointment-in-the-future

В некоторых вещах он хорошо угадал, но теперь настолько же очевидно, как некоторые вещи прошли феерически мимо. "У вас будет много маленьких переносных компьютеров с собой". Ну да, конечно. Ведь один будет постоянно ломаться. Возьму на всякий случай десять, чего мелочиться! А батарейки к ним это вообще не проблема, даже писать об этом нечего. "Переносные компьютеры будут встроены везде, даже в бижутерию и драгоценности". Действительно, что лучше чем простая брошка? Брошка с компьютером! Стоп, а зачем? Да хрен знает, пусть будет. Потом разберемся. "У каждого дома будет много серверов." Ну, тут без комментариев. Хотя нет, один все равно будет. А ещё мы все станем немного сисадминами и научимся ставить GNU/Linux, да-да.

Вот так становится видно, что человек не очень пророк, а просто достаточно умный, и был глубоко погружен в последние новости и модные концепции того времени. Но не глубже, чем остальные. Казалось бы, можно было задуматься о том, что десять батареек для одного компьютера лучше, чем десять компьютеров и одна батарейка. Но в то время это было далеко не очевидно, потому что смартфонов ещё физически не было. Невольно приходит в голову мысль, что сейчас все то же самое. В чем-то они угадывают правильно, но через 25 лет мы очень посмеемся над некоторыми из сегодняшних пророчеств.

Заяц
Если Юдковски слишком перепиарен/бессвязен/шизофреничен/что-то ещё, всегда можно прочесть тексты, на которые ссылается он и его сторонники как на основополагающие. Те же «Базовые механизмы ИИ» Омохундро.

Но вообще не очень убедительно выглядит полемика, где
Одна сторона: <такие-то длинные аргументы и доводы>
Другая сторона: Нет, у вас всё как-то сложно и запутано, а ещё вы больно самоуверенны. А в жизни вечно всё оказывается иначе!

Вообще я не согласен с тем что это нерабочий подход. Например я так с теологией не соглашаюсь, без того чтобы читать 100500 книг про Мухаммеда или типа того. Рабочий метод в общем, просто он не дает добавочной информации наблюдателям. Потому что они уже и так сами могут применить этот подход.

Ногa
На самом деле главное про теологию ты и так знаешь. А если бы не знал, прости, отрицание было бы актом глупого конформизма или чего ещё.

Ты не обязан быть вампиром, всегда пересчитывающим все кидаемые тебе в лицо зёрна. Но есть разница между игнорированием кидаемых в тебя зёрен и заявлением, что они суть что-то вредоносное.

Ногa
А что значит "не соглашаться с теологией"? Отрицать все или отдельные рассуждения и построения в ней? Отрицать какую-либо полезность данных рассуждений и построений? Отрицать, что теология существует? Прошу уточнить.

Есть различие в том что ты уверен on priors (например эта религия в частности это чушь, потому что религии в общем это чушь) vs после того как ты рассмотрел свидетельства за и против (например эта религия в частности это чушь, потому что их догма делает такие-то заявления которые являются чушью)

Юдковского тоже можно (и нужно) так игнорить потому что он делает заявления которые принадлежат к классу с плохой вероятностью быть истинными. А можно рассмотреть что именно говорит он и другие люди на эту тему и сместить свои суждения немного, в сторону от "это полная чушь" как ты думал on priors. (имхо конечно, вы можете прийти к другим выводам)

Ногa
Ну если бы твои данные ограничивались этим (без пояснения даже, почему чушь), то убеждённость была бы глупой. А если нет, то ты также знаешь и почему конкретная рассматриваемая религия тоже глупа (отличайся она сильно в главном, об этом скорее всего было бы известно, а впрочем, конкретные детали надо смотреть).
Ага, это как Матемаг в соседней ветке доказывает, что ноль чёрных лебедей и надо им красную улицу. Перспективный подход.

Кьювентри
Пожалуй, и правда лучше обсуждать по существу, но я пас. Слишком много букв, слишком много мыслей, слишком много времени нужно потратить, а итог непонятен. Теоретики такие теоретики. Гладко было на бумаге. Воздушные замки очень красиво смотрятся, но только пока не пытаешься их построить в жизни.

Кстати, я понял, что насчёт "сами не осилили, свалили на какую-то девочку" это моя ошибка. Во-первых, это был мальчик. Во-вторых, он написал только саммари. В-третьих, может быть им и на самом деле лень разбираться в том, что они написали, и они предпочитают вместо этого написать ещё десять новых программных статей, но для того чтобы это утверждать с уверенностью, надо хотя бы часть прочитать и немного погрузиться в это сообщество, а я не буду.

Я согласен что ноль чёрных лебедей это слишком мало чёрных лебедей. Но они редки и если рассматривать каждого лунатика который предсказывает что инопланетяне съедят наши мозги в день 13 ноября 2026 и строчит простыни текста на эту тему, то ты сожжешь все свое время впустую. Хз какой баланс должен быть, выбирает каждый для себя