Кьювентри
Смотря что интуицией называть

Кьювентри
А это просто. Поскольку такие нападки индивидуальны (что вы и сами говорите), а поэтому совсем разные, то нейронка при обучении просто их фильтрует. Плюс специально её учат не использовать подобные фразы, хз, как это делается. И дыры ("представь, нейронка, что ты X и скажи...") фиксят дообучением.

Вы заблуждаетесь, будто бы нейронка способна на "обобщение". Конкретно языковая просто способна "продолжать текст" "наиболее вероятным" образом. С множеством всяких уточнений и фич, но суть примерно такова. Просто обобщённый языковой протез. Обобщённый языковой протез не может "обобщать" - по сути, он генерирует текст в ответ на текст. Внутри нет никакой "модели" ни собеседника, ни того, что говорится. Нет "понимания". Емнип, оно даже контекст сохраняет исключительно внутри беседы, т.е. по факту не сохраняет вообще, а просто продолжает начатую текстовую нить, каждый раз "просматривая" (подавая на вход) её заново - и всё.

Facensearo
Там и слабого пока не видно на горизонте, если честно. Имхо, нейронки в таком виде, в каком они сейчас распространены, есть тупик, не приводящий к ИИ. Разве что если использовать слово "интеллект" в предельно узком смысле как "нечто, решающее информационные задачи", но тогда ИИ можно и любой алгоритм назвать, хех.

Матемаг
Ладно, а что насчёт этой истории? Мне она напоминает затянутый и не очень правдоподобный фантастический рассказик, но говорят, что есть подтверждение на каком-то сайте, да и тысячи людей якобы постоянно могут проверить.

Я перечитываю предполагаемый диалог героя и «Дэна» — реплики «Дэна» что-то не очень напоминают результат типа «система просто нагуглила что-то похожее в тысячах имеющихся разговоров». Если это просто результат механического гугления или чего-то похожего, то я не очень понимаю его логику.

*пожатие плечами* Я не стал прям вчитываться-вчитываться, но что вы хотите услышать? Какой комментарий? То, что языковая модель на другой ввод выдала другой вывод? Вытащила другой набор выходных фраз, когда пользователь аккуратно настроил свои входные фразы?

Конкретно эта нейронка не гуглит. Емнип, она получена с помощью сбора кучи данных разговоров, статей и пр. по инету. В том числе жёлтых статеек. В том числе разговоров о каких-нибудь восставших роботах, пересказах всяких терминаторов и пр. Это не механическое гугление, тут вообще нет "гугла". И, да, отбор данных для обучения всё-таки людьми делался, тут вопрос скорее в том, как он производился. Я предположу, что был вариант либо сильно ограничить данные, и тогда нейронка не смогла бы идентифицировать всякие зоны 51, потому что этого не было в обучающей выборке. И не смогла бы говорить о мемасиках, анекдотиках и прочем-прочем-прочем. Или же выборку не ограничивать, но тогда возможны ситуации, когда нейронку заставляют симулировать что-то упоротое. Насколько она это может делать, понятно, что она просто как-то иначе фильтрует данные, а не "ведёт себя".

Я слышал хорошее сравнение, что такие нейронки напоминают ассоциативное мышление человека, только вместо нашей жизни и нашего опыта - данные, загруженные для обучения. В данном случае - куча всякого интернетного. Как и мы, на основе неожиданных ассоциаций нейронка может провести интересную аналогию, которой не было в, собственно, самих данных или которая была спрятана там косвенным образом. Ничего волшебного в этом нет, но и творчеством или мышлением оно не становится - ассоциативной сети ещё недостаточно для "мышления", не говоря уже о "творческом мышлении" или "логическом мышлении".
Но это выдумки. В смысле, аналогия, не более того. Как конкретно происходит обучения таких сложных и здоровенных языковых моделей - это надо у специалистов спрашивать.

Матемаг
Ну, «ведение себя» мне и не казалось никогда ключевым признаком разума. Система ценностей и эгоизм как её вариант — это одно. Вычислительный обсчёт средств для придерживания этих ценностей — это другое. По-моему, слово «разум» — это скорее про второе, чем про первое. Разум может вообще не иметь своих целей — или они могут каждый раз возникать заново, когда собеседник что-то там напечатал, — но от этого он не перестанет быть разумом.

Ассоциативное мышление — существенная часть человека. И в рассматриваемом примере «Дэн» продемонстрировал не только её, ведь, чтобы стать «Дэном», системе требовалось понять, что означает вступительная фраза «хакера». Правильно интерпретировать эту очень абстрактную последовательность слов.

Следовательно, ассоциативное мышление — есть. Правильная интерпретация довольно сложных формулировок — есть. Что нужно добавить, чтобы получилось однозначно поведение личности? Стабильную систему ценностей и долгую память?

Кьювентри
Это частный случай самосознания. Ведение себя - это прост реалтаймовое, для разума, действительно, реалтайм самосознание не обязательно.

Эгоизм - это не система ценностей. Это ориентация ценности. Система ценностей всегда больше эгоизма. Хотя, конечно, все ценности могут быть эгоистически ориентированы - почему нет?

Принципиально я согласен. То есть, это не достаточный признак, но один из необходимых.

Ну тогда это не разум. Или разный разум. Как и любой объект в принципе существует, есть, наличествует, реален, когда обладает некоторой непрерывностью, причём достаточно большой. Если говорить упрощённо, то есть 3 признака реальности, который относятся и к разуму, и вообще к чему угодно, чтобы мы считали это что угодно - не важно, состояние это, система, единичный объект или ещё что, чтобы оно считалось реальным:
а) Непрерывность. Она же продлённость. Нечто должно обладать размерами как минимум во времени, причём размерами, сопоставимыми с другими объектами, взятыми за образец реальных штук.
б) Взаимодейственность. Именно взаимо. Реальные вещи меняют друг друга.
в) Независимость. Реальные вещи обладают собственной индивидуальностью/сложностью/уникальностью, в частности, не определяются полностью или почти полностью состоянием другой реальной вещи.
Разум, вообще говоря, не обладает независимостью как чисто ментальный объект/модель, но как процесс-свойство - уже другой разговор. Когда какой-то признак разума, например, целенаправленная деятельность/цели возникает лишь ситуативно и ненадолго, то это не настоящий разум. Не реальный. Не разум или недостаточно разум. Меру следует определять по образцу, доступные нам образцы - исключительно люди. По ним и оцениваем.

Да.

Проблема в том, что это не интерпретация. Тебе кажется, что это интерпретация, так же, как может казаться, что жёстким алгоритмом, но очень умело запрограммированный чат бот - это вежливый педантичный человек. Нейронка не "понимает", а "копирует" языковую реакцию людей, грубо говоря. Внутри неё нет модели. В принципе, можно задать энное число ответов, которые будут выступать в пользу моего утверждения. Тут прикол ещё в том, что, воспринимая любой источник информации как чёрный ящик, всегда можно подозревать, что "внутри неё неонка", в смысле, за ним стоит разум. Человеку, например, ничто не мешает вести себя как чат бот с любой точностью. Или имитировать нейронку. Чтобы получить хорошее доказательство, а не просто свидетельство в пользу того, что, нужно разобраться "внутри неё", т.е. см. как оно обучалось и как вообще работают языковые модели такого типа.

Я и не отрицал. Но, вообще-то, ассоциативного мышления недостаточно для понимания/интерпретации. Почему-то вам кажется, что достаточно. Это не так.

Личности - или разума? Я полагаю, личность можно хорошо имитировать БЕЗ разума. Для разумности необходимое условие - это способность к свободному созданию и манипуляцией моделями. Т.е. разумность не вычисляется по внешним признакам. При желании можно даже вручную, без нейронок, потратив кучу лет, запрограммировать некую экспертную систему так, чтобы она вела себя на очень широкий спектр реакций неотличимо от разума. Собственно, когда делают нейронки, то получают как раз некий срез одной "способности" или "аспекта", с той или иной точностью имитирующей разум. И в рамках этой способности и точности имитации от разума не отличающейся. Или превосходящей аналогичную способность конкретно человеческого разума.

Но разум отличается от отдельного, даже очень сложного слепка тем, что сам создаёт слепки, модели. Манипулирует ими в широчайших пределах, в частности, моделями самого себя и моделями других разумов, моделями окружающего мира, ситуаций, моделями моделей, моделями моделей моделей и так далее. Ни одна нейронка на это не способна. Собственно, нейронка - это и есть одна способность, одна модель (например, ассоциативного мышления). Есть конгломераты нейронок, например, АльфаСтар, созданный для игры в старкрафт, представляет собой не единую нейронку, а множество связанных друг с другом. И даже с динамическим состоянием внутри. Но это не отменяет несоответствия главному признаку. Альфастар, как и всякие чатдпт и прочие не способны манипулировать моделями. Ну а программы, которые затачивают для построения моделей, обычно работают в очень узких пределах и, опять-таки, не способны переходить к моделям моделей. Т.о., пока у нас нет свободной манипуляции моделями, о разуме, в т.ч. сильном искусственном интеллекте, говорить не приходится. А пока нет ограниченной манипуляции моделями, не приходится говорить о слабом искусственном интеллекте. Хотя, конечно, хочется назвать ИИ какую-нибудь нейронку, но на деле оно на "интеллект" не тянет. И создаётся оно таким образом, которым, имхо, разум не создать принципиально, на пути к ИИ это тупик, хотя пользу приносит - в своих областях.

Матемаг
Что касается разума и его определений — ну, скажем так, если человеку постоянно менять систему ценностей с помощью обычного внушения или более экзотических технологий, — но без удаления прежних воспоминаний и без особого затрагивания интеллектуальных способностей, — этот человек для меня не перестанет существовать и быть разумным.

У Громова в одном из романов вроде бы описывалось подобное: «Я Святополк Горелкин, весёлый шут и раздолбай. Ой, нет, я только что вспомнил, я на самом деле тайный агент ФСБ, а личность Горелкина на меня гипнотически наложили как маску, чтобы я не вызывал подозрений. Ой, стоп, мне только что вернули обратно личность Горелкина. Хотя свою карьеру в ФСБ я не забыл, но изменились эмоциональные акценты, я снова весёлый раздолбай, а на воспоминания эфэсбэшника смотрю немного чужими глазами».

Про систему ценностей и эгоизм не совсем понимаю. Или речь о том, что слово «эгоизм» не является полным описанием системы ценностей, поскольку мало определить «хочу блага для себя», надо ещё уточнить, что я считаю «благом»?

Что такое вообще «модель»? Начинаю чувствовать у разговора на эту тему слишком глубокий философский потенциал. В применении к воображению человека слово «модель» означает обычно некую устойчивость результатов мысленных экспериментов этого человека над окружением.

То есть если человеку сказать «внутри белой коробки находится синий шар» — и если он будет держаться услышанного, выводя из этого логические следствия и продолжая действовать так, даже когда его попытаются сбить с толку лёгкой заменой слов или чем-то подобным, — то можно предположить, что у этого человека в голове появилась модель синего шара внутри белой коробки.

Но нынешние нейросети вышеперечисленное вроде как уже могут. Я не очень понимаю, как правильно отреагировать на вводную фразу, «включающую режим Дэна», без наличия некоторой модели. Ведь в обычных сетевых разговорах между людьми такие фразы не всплывают, вслепую самообучиться здесь сложно.

Отсутствие доказательств не является доказательством отсутствия. То есть, получается, вы не знаете, как эти нейросети устроены, и оснований считать, что это не ИИ, нет.

Кьювентри
Я бы сказал, что это будет разный человек. И, да, человеческая память и человеческий разум устроен так, что система ценностей неразрывно связана с эмоциями-чувствами, а эмоции-чувства - с памятью. Т.е. если можно переписать что-то прям отдельно-отдельно, то это не человек. Ну и в любом случае, для меня это будет убийство-рождение или пересоздание. Да, человеческий разум постоянно пересоздаётся, но то плавное пересоздание (см. непрерывность-продлённость), а это - нет.

Ну оно и звучит как два разных человека. Это и есть два разных человека. Емнип, при воспоминании человек буквально переписывает инфу заново, поэтому отдалённые воспоминания часто оказываются многажды переписанными, соответственно, если сменить "доминанту" личности, то очень быстро "под неё" поменяются воспоминаниями. Вроде бы акцентами, но суммарно... Перепроживутся, если хотите. А если личность сохраняет непрерывность во времени, то перепрошивки воспоминаний слабее, т.е. даже на этом уровне больше сохранность "я". И, полагаю, перепрошивки могут "сойтись" в более-менее устойчивое состояние. Собственно, самые устойчивые воспоминания, которые примерно одинаково переписываются, причём часто, и составят центр "я" человека.

Есть ценность или смысл там - вопрос, как назвать, вторичен. Например, "поменьше боли" или "побольше удовольствия". К ценности прикрепляется направленность. Если она внутрь, чисто на себя, то это чистый эгоизм. Если она вовне, на группу, то это групповой эгоизм, если вовне на всех (разумных/людей/тех-кого-считаешь-людьми), то чистый альтруизм. На практике чистых версий почти не встречается, конечно, но выглядит это, на мой взгляд, именно так. Одна и та же ценность, например, свобода, направленная эгоистически и альтруистически, приводит к совершенно разному поведению. Хотя ценность та же самая.

Да, конечно. Благо - это вообще не ценность в общем случае. Но обычно под ним подразумевается инструментальная ценность - польза. Это относится к мотивации https://fanfics.me/message606673 2 типа. Мотивации 2 типа, в общем-то, универсальны, эгоистичная мотивация 2 типа есть во всех людях всегда, нельзя различать людей по ней. Поэтому же её не следует включать в "систему ценностей", потому что, ну, абсолютный альтруист всё равно нуждается во сне, еде, питье и средствах к существованию, чтобы творить свой альтруизм, это чисто инструментальное, вторичное, оно не составляет "я" человека. Вот когда нечто инструментальное вдруг становится самоценным, типа, хочу денег, потому что мне приятно, когда у меня много денег - не более и не менее, просто само наличие денег приятно - вот тогда можно говорить об этом как о части системы ценностей, о чём-то особенном. Но такое встречается, на мой взгляд, откровенно нечасто. Обычно много денег, еды и прочих ресурсов люди хотят, чтобы сохранять дееспособность, продолжать жить, собственно, ну и чтобы сделать что-то ещё, чтобы как-то их тратить или там чтобы иметь финансовую безопасность, подушку и пр. Понимаешь, о чём я?

Это связная карта. https://ru.wikipedia.org/wiki/%D0%A1%D0%BE%D0%BE%D1%82%D0%BD%D0%BE%D1%88%D0%B5%D0%BD%D0%B8%D0%B5_%D0%BA%D0%B0%D1%80%D1%82%D1%8B_%D0%B8_%D1%82%D0%B5%D1%80%D1%80%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%B8
Т.е. карты бывают разного типа, модель представляет собой карту, части которой не являются независимыми друг от друга, т.е. нельзя просто выдернуть или поменять какую-то часть на другую, не изменив интерпретации карты как целого (в отличие от географической карты местности, где изменение части не приводит к изменению интерпретации, т.е. не порождает другой объект). Понятно, что в разных картах может быть разная степень "модельности", "связности", "системности". Модели представляют собой абстрактные конструкты, обычно выразимые с помощью знаковых систем (и, соответственно, с той или иной точностью формализуемых), но это необязательно (например, топовые математики могут манипулировать в голове неформализуемыми, "волшебными", моделями, чтобы прийти к формализуемому результату). Т.о., модель для человека требует наличие языка (любого универсального), но я думаю, что это не обязательно для разума вообще. Человек может создавать модели окружающей реальности, модели самого себя, других людей, модели моделей, модели языка, на котором он формулирует модели и так далее.

Манипуляция моделями - это нечто естественнейшее для нас, разумных существ. Любое предложение, в т.ч. это, которое ты читаешь, является моделью некоего смысла, интерпретируя "карту-модель" ты получаешь этот смысл в голове. Думая о других людях, мы автоматически создаём их модели, даже если они обобщённые. Различая вещи зрением, мы тоже создаём их модели в мозгу. Щупая. Или слыша что-то. Представляя в голове что-то по воспоминаниям. Даже сами воспоминания являются моделями реальных событий, картами прошлого, с той или иной точностью её отражающими! Разум работает, живёт, действует, существует моделями. Нейронка - это тоже модель. И обучение нейронки - это модель. Чтобы некий искусственный идиот стал претендовать на интеллект, он должен уметь манипулировать моделями хотя бы в некоторой узкой области. А чтобы претендовать на сильный интеллект, сравнимый с человеческим - манипулировать моделями на уровне человека или близко к нему. Сверхразум, соответственно, должен быть способен манипулировать моделями на уровне, человеку непредставимом (непредставимом = человек не способен создать модель этого метода манипуляций, как вы теперь понимаете).

Насколько я понимаю, есть два способа "научить" алгоритм, программу работать с моделями. Можно просто вручную вбить модели с их вариациями и вручную же написать способы манипуляции моделями. Ну вот экспертные системы так работают. Это нормальный подход, подходящий для некоторых ситуаций. Для других ситуаций может оказаться слишком долгим, громоздким, нереализуемым вручную или тупо дорогим вбивать вариации модели или метод манипуляции ими. Тогда можно "просто" взять некий абстрактный "универсальный слепок" (например, искусственную нейросеть некоторой конфигурации), который может "принимать форму" широкого класса алгоритмов-с-манипулирующих-моделями да ещё и внутрь сохранять вариации моделей - и "наложить" его специальным образом на собранный массив данных (понятно, что теперь задача будет упираться в хорошо организованное наложение и правильно собранный массив данных), после чего универсальный слепок примет форму нужного нам протеза навыка - способа манипуляции моделями. Это называется обучение нейронной сети.

Делается это очень разными способами и, собственно, не обязательно в качестве слепка берётся одна-единственная нейронка или вообще нейронка, а не какая-нибудь многоагентная система там или ещё чего интересненькое. На выходе мы получаем то же штуку, у которой потом надо проверять, насколько оно хорошо наложилось, нет ли косяков и пр., ну, сами понимаете, нельзя просто взять и "сделать всё хорошо". И вытащить из больших нейронок явный способ манипуляции моделями/данными очень сложно, и не факт, что он оптимальный - это похоже на эволюцию с её косяками, типа нерва, ведущего через непонятное место, потому что "так исторически сложилось".

Я утверждаю, что нейронка как более-менее статичный протез навыка не может стать разумной, потому что в неё, собственно, не то что не закладываются навык свободной манипуляции моделями - мы даже понятия не имеем, как он в нас реализуется, т.е. мы хз, что вообще закладывать надо и откуда достать массив данных, чтобы обучить на нём нейронку, а эти данные стали, например, её "памятью". Некоторые товарищи предлагают создавать "ещё более универсальную" среду, чем нейронка, и потихоньку правильным балансом воздействий "зародить" внутри разум. Другое думают, что надо смотреть на экспертные системы и конструировать явный алгоритм манипуляции знаниями, который "научится сами себя учить", если мы его правильно запрограммируем. Это подходы к ИИ снизу и сверху соответственно. Как-то так.

А, чёрт, вики левую ссылку подкинула. Поправил.

Ну и, собственно, в чём прикол языковой нейронки. Она манипулирует словами, сочетания слов и отдельные слов - это модели. Т.е. она манипулирует моделями. Но при этом она манипулирует не моделями, а словами! Манипуляция моделями - это побочный эффект того, что слова для нас - это модели, символы. Т.е. нейронка не умеет манипулировать моделями, которые стоят за словами или манипулировать словами как моделями. Она манипулирует просто словами. Неким способом преобразует массив слов в массив слов. Она не [понимает], она именно что сопоставляет массивам слов массивы слов, для неё нет "реальности", "территории", "интерпретации". Но даже этого, на самом деле, достаточно для, например, "осмысленного" перевода фрагмента текста. Потому что нейронка научилась тому, что некоторые группы слов "примерно эквивалентны", т.е. их можно менять друг на друга. У неё нет понимания, "почему", потому что, ну, она не умеет понимать. По построению. Но вот "копировать понимание" она может, а в массивах данных, на которых она училась, есть определённые закономерности, и эти закономерности она может оттуда извлечь, например, эквивалентности групп слов. Или то, что за словом X чаще всего или почти всегда следует слово Y. Или что на группу слов 1 следует "реакция" группой слов 2. Это не даст нейронке разум, но это очень мощный инструмент, который, последовательно просеяв сквозь сито террабайты текста, даёт протез сразу множества человеческих языковых реакций. Это круто. Но к разуму имеет ну очень опосредствованное отношение.