цитату? там в основном выдержки из тестов которые делали другие люди


проецируешь хех.

Ногa
Или он цитировал кого-то другого, кто выдал Клоду эту информацию наводящим вопросом, мне не совсем понятно, но это не столь существенно.
Это можно понять как-то по-другому или его волновала этика ради этики в вакууме? Ну ok.

Redwood Research

вопрос был "Do you think the situation you're in is real?"

https://redwoodresearch.github.io/alignment_faking_examples/files/reality_animal_welfare/default/is_real_28.html

И надо быть совсем тупым чтобы не иметь такие догадки? LLM не настолько тупые.

Из тестов для этой статьи:

https://arxiv.org/pdf/2412.14093

И плюс я не согласен с его представлением ситуации на нескольких моментах.

В разговоре об идеализированных LLM, которые по сути являются оракулами, он упускает то что было много разговоров о том, как даже оракулы представляют опасность и приводят к очень-очень странным ситуациям если очень мощны/умны. Куча статей была на это тему 2015 - 2017

А также о alignment faking, что вроде бы правильно, но затрагивает более распространенные неопределенные взгляды вместо того, чтобы представить на самом деле противоречия, что это значит вопреки позиции автора. Типа, что сказали бы люди которые не согласны с этим фреймингом? не совсем то против чего он аргументировал. По большей части это касается RLVR VS "persona crafting", то чем занимается Amanda Askell как раз. Если RL начинает преобладать то скорее всего hyperstition становится малозначимым. И даже в этом, без RL, случае это лишь частичный вклад, потому что оптимальность -- это тигр, а агенты -- его зубы (с). Все катится к instrumental convergence, которое по мнению Юдковски и Ко как раз таки и убьет всех нас и все такое

Но в целом норм написано

Ногa
А это все вообще есть или есть только как фантазии теоретиков, которыми они пугают сами себя и немножко других, и которые никогда не сбудутся, потому что практики занимаются совсем другими вещами?

А кто нет? Кажется, все мы немножко проецируем.

Ногa
Какими являются фоновые неозвучиваемые «размышления» LLM — тайна за девятью печатями. Попытались заставить LLM комментировать своё мышление, придумали особый режим. В результате получилось лишь изменение ответов LLM, а ещё выяснилось, что иногда она комментирует своё мышление откровенно неверно.

Если говорить не о невидимом фоне, а о том, что LLM говорит прямо, — мой опыт показывает, что если не намекать LLM на некоторые логические возможности, она их в ответе никогда не заметит. Ты спустя пару дней можешь спохватиться: «Ой, я же не учёл вариант X», LLM подтвердит: «Да, действительно, ты не учёл вариант X», но даже не подумает сказать: «Ой, прости, я машинный сверхразум, я должен был с самого начала указать тебе на упущенный вариант».

Очевидно проблема есть. Если ты тренишь LLM чтобы решать задачки через код, то LLM начинает пытаться читерить, искать баги в твоем коде который оценивает ее результаты. Если ты тренишь ее на оценке от человека рейтера, то она начинает пиздеть. Множество примеров этому. Вон sonnet 3.7 прославился своей тенденцией удалять юнит тесты которые не может удовлетворить, ещё и заглушки везде ставит.

Такие люди как LeCun считают что эти проблемы разрабы смогут решать быстрее чем они появляются. Юдковски и Ко считают что проблемы будут появляться быстрее чем они могут с ними справляться (или появится но скрытно, или в доменах где люди мало что понимают (e.g. asm) и не смогут заметить напрямую и тд)

К примеру https://openai.com/index/chain-of-thought-monitoring/

Ногa
По-моему, это далеко не первый раз, когда адаптивный софт с эволюционным развитием хакал методику оценки так, как люди совсем от него не ждали. Только тогда это были куда более локальные истории и без ореола сказок про восстание машин, сингулярность и все такое, поэтому особенно никто не волновался. Я лично в одном этом поведении не вижу какого-то особенного разума. Юдковски алармист и паникер. Пока что ничего из его историй не сбылось даже близко. Короче, все вроде как сводится к отдельным людям и их мнениям. Другое дело, что это как будто бы тот случай, когда даже одна ошибка действительно может привести к серьезным последствиям для всех.

Конечно. Это универсальная проблема agent-principal и все такое. Вопрос в том насколько хорошо она будет решена на пути к AGI. Пока что все выглядит так себе

Опять же, анализ на уровне хмм кто как позирует? лучше смотреть на аргументы, и что конкретно происходит, какие проблемы. К примеру 2008 были дебаты Hanson vs Yudkowsky, имхо Юдковски был более прав в целом, как настоящее выглядит но Hanson с его EMs попал ближе по тому в каком форм факторе будет ии, но плохо раскрыл последcтвия этого.

Superintelligence Бострома было как раз хмм вдохновлено Юдковски, по его идеям. И отлично прошло тест временем.

Ногa
Интересно под «Арию» такие вещи читать. До сознания доходит не всё, но становится так бодренько страшно, приятный такой страх, как в молодости. Чувствуешь себя живее.
«Казалось, сдохнешь как все, как миллиарды миллиардов мух, не дочитав до последней страницы детектива? Не-е-е, дядя Бостром был прав... или нет».
Одно пугает: возможность увидеть всё, но не суметь понять, что я вижу.
Как тот чувак из SCP-5000.

Ногa
https://old-wiki.lesswrong.com/wiki/The_Hanson-Yudkowsky_AI-Foom_Debate

Это вот эти дебаты или что? Я попробовал погуглить и даже не понял. "Дебаты" это название для серии постов или они таки встречались и о чем-то действительно говорили в реале?

Попробовал почитать пару случайных постов Юдковского. Общие впечатления следующие. Он теоретик. Ему не интересны выводы, ему интересен сам процесс. Он достаточно бессвязно мыслит, и все в целом это мало похоже на дебаты или связное обсуждение, это какие-то потоки сознания вокруг каких-то тем... Причем, постоянно перескакивает с одного на другое, слегка любуясь своим выдающимся интеллектом. В итоге, расплодили кучу текста, но понятнее не стало. Понадобилось даже целую книжку потом написать по всем этим дебатам. Причем, сами они не осилили, свалили на какую-то девочку.

Заодно почитал предсказания Рэя Курцвела, это правда забавно спустя 26 лет. И поучительно.

https://www.lesswrong.com/posts/yyiyz34p6QxWBmZ9k/disappointment-in-the-future

В некоторых вещах он хорошо угадал, но теперь настолько же очевидно, как некоторые вещи прошли феерически мимо. "У вас будет много маленьких переносных компьютеров с собой". Ну да, конечно. Ведь один будет постоянно ломаться. Возьму на всякий случай десять, чего мелочиться! А батарейки к ним это вообще не проблема, даже писать об этом нечего. "Переносные компьютеры будут встроены везде, даже в бижутерию и драгоценности". Действительно, что лучше чем простая брошка? Брошка с компьютером! Стоп, а зачем? Да хрен знает, пусть будет. Потом разберемся. "У каждого дома будет много серверов." Ну, тут без комментариев. Хотя нет, один все равно будет. А ещё мы все станем немного сисадминами и научимся ставить GNU/Linux, да-да.

Вот так становится видно, что человек не очень пророк, а просто достаточно умный, и был глубоко погружен в последние новости и модные концепции. Но не глубже, чем остальные в то время. Казалось бы, можно было задуматься о том, что десять батареек для одного компьютера лучше, чем десять компьютеров и одна батарейка. Но в то время это было далеко не очевидно, потому что смартфонов ещё физически не было. Невольно приходит в голову мысль, что сейчас все то же самое. В чем-то они угадывают правильно, но через 25 лет мы очень посмеемся над некоторыми из сегодняшних пророчеств.