И плюс я не согласен с его представлением ситуации на нескольких моментах.

В разговоре об идеализированных LLM, которые по сути являются оракулами, он упускает то что было много разговоров о том, как даже оракулы представляют опасность и приводят к очень-очень странным ситуациям если очень мощны/умны. Куча статей была на это тему 2015 - 2017

А также о alignment faking, что вроде бы правильно, но затрагивает более распространенные неопределенные взгляды вместо того, чтобы представить на самом деле противоречия, что это значит вопреки позиции автора. Типа, что сказали бы люди которые не согласны с этим фреймингом? не совсем то против чего он аргументировал. По большей части это касается RLVR VS "persona crafting", то чем занимается Amanda Askell как раз. Если RL начинает преобладать то скорее всего hyperstition становится малозначимым. И даже в этом, без RL, случае это лишь частичный вклад, потому что оптимальность -- это тигр, а агенты -- ее зубы (с). Все катится к instrumental convergence, которое по мнению Юдковски и Ко как раз таки и убьет всех нас и все такое

Но в целом норм написано

Ногa
А это все вообще есть или есть только как фантазии теоретиков, которыми они пугают сами себя и немножко других, и которые никогда не сбудутся, потому что практики занимаются совсем другими вещами?

А кто нет? Кажется, все мы немножко проецируем.

Ногa
Какими являются фоновые неозвучиваемые «размышления» LLM — тайна за девятью печатями. Попытались заставить LLM комментировать своё мышление, придумали особый режим. В результате получилось лишь изменение ответов LLM, а ещё выяснилось, что иногда она комментирует своё мышление откровенно неверно.

Если говорить не о невидимом фоне, а о том, что LLM говорит прямо, — мой опыт показывает, что если не намекать LLM на некоторые логические возможности, она их в ответе никогда не заметит. Ты спустя пару дней можешь спохватиться: «Ой, я же не учёл вариант X», LLM подтвердит: «Да, действительно, ты не учёл вариант X», но даже не подумает сказать: «Ой, прости, я машинный сверхразум, я должен был с самого начала указать тебе на упущенный вариант».

Очевидно проблема есть. Если ты тренишь LLM чтобы решать задачки через код, то LLM начинает пытаться читерить, искать баги в твоем коде который оценивает ее результаты. Если ты тренишь ее на оценке от человека рейтера, то она начинает пиздеть. Множество примеров этому. Вон sonnet 3.7 прославился своей тенденцией удалять юнит тесты которые не может удовлетворить, ещё и заглушки везде ставит.

Такие люди как LeCun считают что эти проблемы разрабы смогут решать быстрее чем они появляются. Юдковски и Ко считают что проблемы будут появляться быстрее чем они могут с ними справляться (или появится но скрытно, или в доменах где люди мало что понимают (e.g. asm) и не смогут заметить напрямую и тд)

К примеру https://openai.com/index/chain-of-thought-monitoring/

Ногa
По-моему, это далеко не первый раз, когда адаптивный софт с эволюционным развитием хакал методику оценки так, как люди совсем от него не ждали. Только тогда это были куда более локальные истории и без ореола сказок про восстание машин, сингулярность и все такое, поэтому особенно никто не волновался. Я лично в одном этом поведении не вижу какого-то особенного разума. Юдковски алармист и паникер. Пока что ничего из его историй не сбылось даже близко. Короче, все вроде как сводится к отдельным людям и их мнениям. Другое дело, что это как будто бы тот случай, когда даже одна ошибка действительно может привести к серьезным последствиям для всех.

Конечно. Это универсальная проблема agent-principal и все такое. Вопрос в том насколько хорошо она будет решена на пути к AGI. Пока что все выглядит так себе

Опять же, анализ на уровне хмм кто как позирует? лучше смотреть на аргументы, и что конкретно происходит, какие проблемы. К примеру 2008 были дебаты Hanson vs Yudkowsky, имхо Юдковски был более прав в целом, как настоящее выглядит но Hanson с его EMs попал ближе по тому в каком форм факторе будет ии, но плохо раскрыл последcтвия этого.

Superintelligence Бострома было как раз хмм вдохновлено Юдковски, по его идеям. И отлично прошло тест временем.