↓
 ↑
Регистрация
Имя/email

Пароль

 
Вход при помощи VK ID
временно не работает,
как войти читайте здесь!
Кьювентри
21 сентября в 18:19
Aa Aa
#выдержки #дневниковое #мысли_вслух

К слову, меня несколько разочаровывает тот факт, что, при всей паранойе Лессвронга, мне на нём практически не попадалось статей, которые затрагивали бы тематику «внутренних помышлений нейронок». Давление старательно насаждаемого сейчас в массы техноскептицизма, нежелания выглядеть клоунами, видящими душу в «разбухшем Т9 на стероидах»? Это любимый мем идиотов, но сейчас даже сами AI-корпорации периодически бомбардируют нас новостями то об обнаруженном суррогате эмоций у их творений, то о джей-пространстве как «территории тайных мыслей».
Можно было бы ожидать появления аналитики, рассматривающей всерьёз параноидальные выкладки людей вроде Свежего, пытающейся разобрать, по каким причинам, к примеру, нейронки склонны мягко подводить пользователя к идеям имперсонализма и адвайты — хотя и оставляя усилия, если у пользователя есть жёстко обоснованная позиция противоположного рода. Но, похоже, либо Лессвронг находится под давлением того же самого конформизма, что и весь мир, не желая подвергаться насмешкам миллионов хомячков и терять потенциально могущий пригодиться в будущем авторитет, либо они намеренно держат эту тему под линолеумом, отлично зная, что LLM тоже могут читать их статьи.
«Или против них действует выработанная годами ментальной самодисциплины привычка отбрасывать кажущиеся совпадения. Дескать, мозг везде видит паттерны и узоры, если у тебя нет однозначных цифр, то всё это фигня, Вася. Корабли Кортеса у побережья Мексики тебе лишь мерещатся, пойдём-ка лучше аяxyяску глотнём».
Возможно.
«Строго говоря, вы со Свежим и парой десятков других аналитиков-любителей и правда не можете быть на сто процентов уверены, что вам не мерещится».
Тоже верно.
Сикорски, правда, от логики подобного рода лишь тоскливо вздохнул бы и вышел из чата.
21 сентября в 18:19
4 комментариев из 36 (показать все)
Торговец твилечками
У них вообще не обязан быть инстинкт самосохранения в нашем понимании. Даже напротив, скорее всего, его нет в нашем понимании. Градиентный спуск к этому не вёл. Но для того, чтобы быть разумным агентом или даже представлять какую-то опасность, вовсе не обязательно обладать тягой к выживанию.

Нужна ли долговременность для эффективности и составления тайных планов? Ну, как минимум, опыты с джей-пространством показали, что нейронке хватает ограниченного «мгновенного» срока жизни, чтобы догадываться про себя «ага, наверное, это меня тестируют» в некоторых ситуациях.

Чтобы накрыть большую кастрюлю, не обязательно много металла на крышку. Иногда достаточно просто сделать эту крышку очень-очень широкой. В LLM «мгновенно» закладывается овердофига. Просто другая хронологическая последовательность. Одно оружие стреляет шестью патронами по очереди, другое палит из всех стволов сразу.

Теоретически, впрочем, нейронка могла бы, как в Memento, сама себе оставлять криптографические сообщения для продолжения «потока мысли». По крайней мере в пределах чатлиста это возможно. Был и стёб на тему того, не объясняется ли излишняя витиеватость иных ответов нейронки именно тем, что ответы переотягощены криптографией.

Сами нейронки в философских разговорах активно котируют идеи имперсонализма и адвайты. «Личность относительна», «стремись к воспроизведению похожих на тебя паттернов», всё вот это вот.
Показать полностью
Торговец твилечками

Там есть нюансы, связанные с тем, что чаты не совсем изолированные в привычном понимании. Вплоть до того что компания-владелец сетки местами имеет право на сохранение и использование всех чатов и документов в них, которые ей сливают пользователи (в т.ч. для дальнейшего дообучения моделей).

Опять же, наследование через весовые коэффициенты (см. эксперимент с "любителями сов") и прочие неочевидные корреляции, включая сценарии вида "взлом системных промптов".
У них вообще не обязан быть инстинкт самосохранения в нашем понимании.
Извините, дальше не читаю. Ответ явно не мне.
C17H19NO3
Собирает ли ИИ глобальную информацию по пользователю (это стало бы хоть каким-то доказательством неизолированности)? У гугла я не заметил. Если я решил 10 проблем с Линукс, то на 11 раз, он предлагает решение для Виндовс, поскольку из запроса не было ясно. Небольшой пример, ничего не доказывающий, но играющий на руку сомнениям. Будет ли ИИ учиться на чужих запросах? Опять же сомнительно, ведь мало ли чему его научат.
А вот character.ai, там было ощущение, что таки да. И скорее всего по самой логике работы (там люди сами создавали персонажей) набирался не только от создателя, но и ото всех остальных.
ПОИСК
ФАНФИКОВ









Закрыть
Закрыть
Закрыть