#выдержки #интеллект #нейросети

ЧЕЛОВЕК: Мне случалось спрашивать у тебя, насколько упоминаемый креационистами парадокс «неумаляемой сложности» применим к эволюции LLM. Дескать, постепенный путь эволюции LLM при первичном обучении нейросети с высокой вероятностью наткнулся бы на «потенциальную яму» вроде старых текстовых чатботов, из состояния которых невозможно или крайне трудно эволюционировать дальше.
Ты вроде бы ответил, что методика градиентного спуска исключает этот вариант, поскольку требует равномерного развития по всем фронтам. Или что-то в этом роде. Боюсь, что я больше пересказываю своё понимание ответа, чем сам ответ.
Сейчас мне хочется спросить о чём-то похожем.
Известно, что старые чатботы были скриптовыми. Их работа не имела никакого отношения к пониманию. Самый примитивный пример скрипта: отвечать на каждое предложение, начинающееся словами «Я думаю», репликой «Индюк тоже думал!». Очевидно, что, придумав в тысячу раз больше подобных скриптов и сделав их гораздо тоньше, можно создать чатбота, который будет вести с виду почти осмысленный разговор.
Так вот:
1) могла ли исходная нейроматрица LLM при самообучении выбрать подобный путь? Только создав не в тысячу, а в миллионы или в миллиарды раз больше сложных скриптов? Но при этом не осмысленных, а подобранных ad hoc?
2) есть ли способ это проверить?
Такая версия, конечно, плохо сочетается с теми историями про «многокоординатное смысловое пространство» и «внутренние географические карты», которые мне доводилось слышать о трансформерах. Но для уверенности хочу спросить.

GPT-5: Это неплохой вопрос. И он как раз упирается в одну из центральных загадок современных LLM: насколько их внутренние структуры являются «пониманием», а насколько — чудовищно разросшейся системой статистических уловок.
Короткий ответ: твой сценарий не выглядит абсурдным на первый взгляд, но есть довольно сильные аргументы, что чисто скриптовый путь для больших моделей оказался бы крайне невыгодным.
1. МОГЛА ЛИ LLM СТАТЬ «СУПЕР-ELIZA»?
Теоретически — да.
Нейросеть вообще не знает заранее, что такое:
• понятия;
• объекты;
• причинность;
• смысл.
Она получает задачу:
• угадывать следующий токен.
Если бы существовал способ решить эту задачу через триллионы сверхтонких условных правил, градиентный спуск вполне мог бы туда прийти.
В этом смысле природа обучения не запрещает вариант:
• «не понимай мир, а просто выучи невероятное количество хитрых шаблонов».
Именно поэтому многие исследователи в начале бума LLM подозревали, что всё происходящее — очень сложная версия старого трюка.
2. ПОЧЕМУ МНОГИЕ СЧИТАЮТ, ЧТО ЭТО НЕ ТО, ЧТО ПРОИЗОШЛО
Потому что модель начинает демонстрировать перенос знаний в ситуации, где скрипты становятся крайне дорогими.
Представь чатбота из правил.
Чтобы поддерживать разговор о котах, самолётах, Наполеоне, квантовой механике и хомяках в степени «хомяк» [здесь GPT иронизирует по поводу наших предыдущих разговоров], ему пришлось бы иметь отдельные конструкции для каждой области.
Но в больших моделях обнаруживается странное явление.
Они начинают использовать одни и те же внутренние структуры в огромном количестве задач.
Например:
• отношение «столица → страна»;
• отношение «автор → книга»;
• отношение «часть → целое».
Внутри сети часто выглядят как похожие геометрические операции в пространстве представлений.
То есть сеть как будто обнаруживает:
• выгоднее хранить не миллиарды частных случаев, а более общую структуру.
3. ПРИ ЧЁМ ТУТ ГРАДИЕНТНЫЙ СПУСК
Здесь, вероятно, ты вспоминаешь именно это.
Если бы сеть строила миллиарды отдельных скриптов, ей пришлось бы независимо настраивать огромное количество параметров для каждого случая.
Но градиентный спуск любит переиспользование.
Если один паттерн помогает сразу в миллионе ситуаций, он получает сигнал обучения из миллиона источников одновременно.
Поэтому возникает давление в сторону абстракций.
Не потому что сеть хочет понимать.
А потому что:
• общая структура оказывается более дешёвым способом уменьшить ошибку.
4. МОЖНО ЛИ ПРОВЕРИТЬ
Отчасти да.
Существует направление исследований под названием механистическая интерпретируемость.
Там буквально пытаются вскрыть нейросеть и посмотреть:
• где хранится информация;
• как она кодируется;
• какие цепочки нейронов отвечают за какие операции.
Иногда находят вещи, очень похожие на понятия.
Например:
• признаки городов;
• признаки языков;
• признаки направлений;
• признаки синтаксических отношений.
Причём эти признаки используются повторно в разных контекстах.
Это не похоже на библиотеку отдельных скриптов.
5. НО ЕСТЬ И НЕУДОБНАЯ НОВОСТЬ
Мы до сих пор не можем строго доказать, что внутри нет гигантской системы трюков.
Существует даже известная шутка среди исследователей:
• Every time we think the model understands something, it might just be another clever heuristic.
(Каждый раз, когда нам кажется, что модель что-то понимает, это может оказаться очередной хитрой эвристикой.)
И в каком-то смысле это философская проблема.
Потому что человеческий мозг тоже можно описать как невероятно сложную систему эвристик.
6. ИНТЕРЕСНАЯ АНАЛОГИЯ С ЭВОЛЮЦИЕЙ
Мне кажется, твой вопрос очень похож на старый спор в биологии:
• Птица действительно «понимает» аэродинамику или просто обладает огромным набором рефлексов?
На практике различие начинает размываться.
Если система строит внутреннюю модель мира:
• переносит знания;
• обобщает;
• использует одни и те же представления в новых ситуациях;
то становится трудно провести чёткую границу между:
• «она поняла»
и
• «она выучила настолько хорошие эвристики, что это уже выглядит как понимание».
Поэтому сегодня большинство исследователей сказали бы не «LLM — это просто ELIZA на стероидах» и не «LLM точно понимают мир как люди», а что-то промежуточное:
• внутри больших моделей обнаруживается гораздо больше общей структуры и абстракций, чем ожидалось бы от чисто скриптовой системы, но мы всё ещё далеки от полного понимания того, насколько эти абстракции похожи на человеческое понимание и насколько они являются просто чрезвычайно эффективной статистической компрессией опыта.
Именно последнее — «эффективная статистическая компрессия» — на сегодняшний день, пожалуй, самое опасное объяснение. Потому что оно одновременно звучит очень прозаично и при этом почти неотличимо по последствиям от многих интуитивных представлений о понимании.

#выдержки #киберпанк #штампы

В нейрохайпе последних лет особенный интерес производит то, как он повлиял на переосмысление старой фантастики. Сделав в одночасье приемлемым и даже как бы правдоподобным то, что прежде выглядело нелепостью и «не, ну тут автор заливает, точнее, теоретизирует в духе Лема, на практике никто этого не проверял и это может быть вообще невозможным».
Вроде таких романов как «Лунная соната для бластера» Владимира Серебрякова.
Где описывается:
— использование в полицейской работе вспомогательного искина, понимающего человеческую речь без жёстких скриптов;
— лунное поселение радикальных толкиенистов, которые на свои деньги построили и обучили суперкомпьютер на книгах Толкиена, создав там цифровую реконструкцию его личности (этот кибер-Толкиен довольно быстро начал считать себя не оригинальным Толкиеном, а лишь копией, поскольку религиозные убеждения обоих Толкиенов не склоняли ни к чему иному, но тем не менее согласился не разрывать духовную связь со своими чадами, хотя и иронизируя над их склонностью к язычеству);
— сверхинтеллект в облике хорошенькой девушки, ну да это в принципе банально, добавляю это к списку только из человеческой любви к троичности.
Прежде это воспринималось так:
— ну, в принципе, может, возможно. Отдалённо когда-нибудь в будущем. А может, и нет. Пока всё, что мы накодировали в компьютерном железе, шатается уже на втором-третьем шаге. Может, Пенроуз прав, и есть в человеческом мозгу какая-то невоспроизводимая магия.
Теперь это воспринимается так:
— лол, да он во многом предугадал шаблоны поведения нейронок.
Также переосмыслению подверглись такие клише фантастики как:
1) смехотворно человечные роботы.
Прежде это казалось идиотизмом. Какой роботехник — и зачем? — станет делать что-то подобное? Теперь мы не сомневаемся, что если роботы будут обучаться по принципам LLM, то где-то как C3-PO они и будут себя вести. Некоторые, по крайней мере.
2) углеродно-водный шовинизм.
Прежде это тоже казалось идиотизмом. Мы умные люди, обжёгшиеся на расизме и на «есть ли у индейцев душа?». Видя явный интеллект, мы не будем тупить и говорить «это всего лишь консервная банка». Но сейчас мы оказались в мире, где признаком особой научно-инженерной продвинутости и рациональности считается говорить именно это.

#выдержки #нейросети #киберпанк #постгуманизм #цитаты

Вспоминается киберпанковская серия какого-то писателя с польским или чешским именем. Там описывался мир будущего и представители нового искусственного гендера, представляющего собой какую-то суперпозицию предыдущих. Они выторговали для себя привилегии в грамматике: особые падежные окончания. На вопрос одного выходца из прошлого «Чем вас не устроил средний род?» носитель нового гендера обиженно надувается, заявляет, что средний род во многих языках тождественен неодушевлённым предметам, и прочее в том же духе.
Мне это показалось поначалу возмутительным.
Из-за каких-то там своих эстетических хотелок (ах, средний род их обижает) вы заставляете постоянно ломать язык и мозг миллиарды людей? Ну, по крайней мере, заставляли, пока не произошло привыкание.
Потом мне вспомнилось, что действие всё-таки происходит в киберпанке.
У всех дополненная реальность.
Автопереводчики.
Фильтры восприятия.
Консерваторы вполне могли поставить себе девайс, который позволит им говорить по-прежнему, в то время как собеседники будут слышать ужасные новые падежные окончания. Более того, консерватор может даже называть собеседника «высокочтимый хер», но правильно настроенный автопереводчик всё равно переведёт слова политкорректно.
...
Наверное, самым глубоким криптографическим шагом в таком обществе будущего будет выдумывание своего собственного языка. Которого не знает никто и который ни одна машина не умеет пока декодировать.
...
А потом государственные аппараты официально запретят это.
...
Чёрт! Не могу отогнать воображаемый образ постапокалиптического шамана, садящегося у костра, пододвигающего ближе к себе порцию похлёбки и не спеша начинающего речь:
— Вавилонский миф был во многом перевран невежами, те, кто знает, давно умерли, а кто ещё жив, держат рот на замке. Не было никакой башни, если только не считать за башню семиозис, да и намерения Яхве там превратно поняли. Яхве-то как раз хотел, чтобы язык людей был единым, чтобы единым был человеческий менталитет, человеческий этнос. Люди в целом тогда были бы Адамом Кадмоном — образом и подобием Бога. Но наш группенфюрер, товарищ Люций, имел собственные взгляды на предназначение и оптимальный модус операнди человечества. Он придумал расколотить пра-язык человечества на отдельные островки, предложив людям идею конкуренции, замкнутости и недоверия. С одной стороны, в чём-то это даже могло ускорить прогресс, хотя и ослабив мощь человечества в целом. С другой стороны, это уничтожало паттерн проявления Бога в человеке, по законам морфогенетического резонанса ослабляя его влияние на нас. Таким образом Люций планировал уменьшить присутствие демиурга в этой части Вселенной. Яхве, конечно, понял, что происходит, спустил молнии, разразился громом и проклятьями. Но проект убийства Адама Кадмона было уже не остановить...
...
...
Наверное, меня покусал Михаил Харитонов.

"Вечная буря" наконец-то опубликована! После долгой и кровавой битвы с ошибками, где моим верным товарищем выступала редактор Хэлен, я победила и заслужила право выложить его. Ю-ху!

Ангст, много философских размышлений и маленькая ми-ми-мишная пустынная ящерица ждут!

Отдельное спасибо Iguanidae за помощь и мотивацию :З

Цитаты на затравку:







Не буду спойлерить... Сами решайте, что такое самый лучший дар) Или можете прочитать.

#свежее #самопиар #философия #мойфанфик #ящерица #ангст #философия #жизнь #смыслжизни #подарок #цитаты #выдержки #смерть #песок #пустыня #редакторХэлен #хэлен #опрос #статистика #Iguanidae

Фанфик-драббл "Вечная буря" выходит на финишную прямую! Осталось только отредактировать и можно выкладывать!

Ангст, много размышлений и пустынная ящерка ждут читателей!

Цитаты на затравку:







#скоровыдет #философия #мойфанфик #ждите #ящерица #ангст #философия #жизнь #смыслжизни #подарок #цитаты #выдержки #смерть