финикийский_торговец
Д!

А у нейронки есть будущее?

Понимание и имитация понимания...
Ну, Лем в своё время писал, что любой интеллект в первую очередь будет стараться минимизировать усилия, затрачиваемые на порученную ему работу.
Нейросеть, ищущая на фотографиях леса танки, будет не искать способы сделать это более-менее по-человечески, а просто прицепится к факту, что фото с танками были сделаны в одну погоду, а фото без танков — в другую.
Нейросеть, пытающаяся написать за кого-то роман или рассказ, с наиболее высокой вероятностью попытается не придумать цельный сюжет с интересной развязкой и всё такое, а сделать так, чтобы читатель не смог распознать в тексте отсутствие перечисленного (и нажать красную кнопку «больно»).
Простые пути.
Но с использованием большого количества по-настоящему мотивированных бета-тестеров, наверное, ситуация изменится.
Хм... интересная оплачиваемая профессия будущего.
Тестер фанфиков нейросети.

финикийский_торговец
А никто пока не понимает, каково должно быть истинное понимание и, поэтому, не может сделать ИИ второго уровня (как я их классифицирую).
1. Имитирует деятельность человека в какой-то сфере (с начала разработок, ещё до нейросетей, и по сей день).
2. Действительно понимает запросы.
3. Обладает самосознанием.
Сейчас нейросети пытаются угодить человеку на основании множества подобных требуемому случаев. Результатами можно умиляться, но глядя серьёзно, действительно понимания там нет. Допустим, вам скажут: это сепулька, вот это сепулька и вот это. Вы сможете их различать, классифицировать и даже изобразить нечто похожее на сепульку, и все будут умиляться, какой умный этот человечек. Также и ИИ показывают: вот это, это и это – всё это танки. Что он знает о танках? Некоторые характерные особенности. Скормить ему чертеж – он сможет изобразить чертёж дизеля. Скормить ему ТТХ – он всё равно не понимает значения слов. Скормить ему всю информацию из интернета, чтобы он точно уж образовал нужные связи? Мне кажется всё равно не поможет, ведь дети понимают и не обладая всеми познаниями человечества.
У меня есть мысль, что ИИ надо для начала тренировать в виртуальной комнате, где он мог бы двигаться и исследовать обстановку (допустим, при приближении к вещи – сообщать ему название), чтобы понять трёхмерную структуру мира, базовые понятия, такие как «двигаться». Соответственно, он должен стремиться к увеличению знаний, он должен обходить комнату своей волей, а не просто случайно болтаться. У него должна быть возможность виртуального воздействия на вещи, шкала понятий «хорошо» и «плохо» (хотя бы для того, чтобы «чувствовать», что исследовать – хорошо, успешно выполнять задания – ещё лучше, и иметь «красную кнопку», как сказали выше). В общем, мы получим действительно маленького виртуального человечка. И это должно пугать. По крайней мере, ядерные ракеты я бы ему не поручил.

Торговец твилечками
В генетике и соответственно в морфологии мозга новорождённого вообще-то дофига потенциальных навыков и скрытых в них сведений. Даже просто наблюдение за бодающими друг друга квадратом и треугольником — для младенца не бессмысленная картинка.

Кнопки «хорошо» и «плохо» органически присущи процессу обучения нейросетей. Они давно уже есть. Вернее, кнопки, которые можно так проинтерпретировать, а что там на самом деле — до решения психофизических проблем квалиа мы не узнаем.

Что-то сомневаюсь, что именно человеческая манера взаимодействия со средой обладает монополией на формирование разума — а работа с файлами, например, нет.

Проблема неспособности распознать ТТХ без спецподготовки и т. д. — как мне кажется, в том, что этого от нейросетей и не требуют, мы не знаем, как правильно этого потребовать. Сама по себе любая нейросеть идёт по предельно экономичному пути.
Меж тем как в живых существах некоторые философы видят отчасти противоположную тенденцию: Веллер рассуждает об «избыточном энергопотенциале», о том, что человек без возможности следить за солнцем будет бодрствовать чуть дольше светового дня, о том, что любое животное склонно к играм и другим формам малоосмысленной внешне (хотя иногда помогающей обучению) деятельности. А нейросети, наоборот, стремятся минимизировать усилия. И мы как бы поощряем это, потому что, ну, наши вычислительные ресурсы тоже не бесконечные.
Вообще-то у эволюции они тоже не бесконечные, что делает вдвойне парадоксальным вопрос, почему же она создала в живых существах пресловутый «избыточный энергопотенциал». Возможно, с ним легче выживать. Или он стал когда-то положительным признаком полового отбора, приманивающим самок. Или ещё что-то. Но вполне возможно, что человеческий разум — одна из форм пресловутого «энергоизбытка», как развесистые оленьи рога.

Кьювентри
Открыл картинки и за минуту нашёл. Нейросетка точно понимает, что же такое человек?
https://neural.love/cdn/ai-photostock/1ed4c4c1-63b9-69c4-a13b-e58957333e5b/0.jpg?Expires=1669852799&Signature=eaAd~kR3MvIkgHqn8AHJk7QZy4DNUupvpryBHVG4p6v0SMQufa6XxPMxILqIzrHaxUScgcSGhT5Q1cP6Cb9GHbrkrVkKDQFmQZoc-nweuBUtIsgOa8Uvldu1x0ixIQ~eYMcrU83IhdLV0DLUbIkdf1bsNlyECHe9Zyf-u~vHrWG6-NjVfNnUXC-ss4wAp4BBp-Rhu3PwJDAVaO4tnXX6iBrib2hN9-k-mStfvQcMRB3VzhmzGWh4DBsug6~SXht8pHRD6iSAstOi78d6hHISCqB6ClyM9KiCwDj3mKMG4e6hEm9nqk~7mAlLNhmBxkZ8pPgyPrxpvPFTZl~ll~n4lQ__&Key-Pair-Id=K2RFTOXRBNSROX
Запрос: Bearded old Kelsey Grammer wearing boxing gloves and a suit, worried expression

Торговец твилечками
Было бы очень странно, если бы она это понимала.
Хотя и мы это понимаем, строго говоря, лишь в нашем контексте. Для младенца отец — это борода в небе. Для крота фермер — это вибрация от ног, распространяющаяся по земле. Для нас... мы не ограничиваемся сенсорными образами, мы строим причинно-следственные схемы, которые по идее служат делу предсказания тех же сенсорных образов, но на самом деле по мере развития абстрактного мышления стали для нас самостоятельной реальностью (например, большинство из нас допускает существование материи за ощущениями или существование столь далёких галактик, что свет от них никогда не долетит к нам). Мне это кажется правильным, хотя обосновать правильность этого, не впадая в логические круги, трудно.

Кьювентри
Собственно про это я и говорил.

Ну и ок? Будут боты которые "на самом дел ничего не понимают" но ведут себя так. Они будут умнее среднего человека в каждом вопросе, но все равно ничего по настоящему понимать не будут, лол

Как пример https://fanfics.me/message574700 , разве это не называют пониманием в быту? Эти же модели на всяких бенчмарках УЖЕ показывают 80% - 100% от среднего уровня людей.

И EfficientZero и новая модель трансформер, забыл название, учатся играть в Атари до человеческого уровня просто с индуктивными байесами, с чистого листа, за 2 (два) часа геймплея. (но они плохо скалируются) (пока что)

Ногa
Думаю, речь о вопросе, насколько это приближает нас к созданию полноценного сознания или хотя бы полноценного философского зомби.
По-моему, приближает.
Но внутренняя часть поведения всегда больше внешней. Ощущаемые нами контуры мыслей всегда богаче того, что мы говорим вслух. У боязливых людей всегда возникает вопрос, не найдёт ли кто-то способ показывать верхнюю часть айсберга без самого айсберга. На мой взгляд, тактика тыканья в разные части океана ниже ватерлинии позволяет снивелировать риски.

Ногa
Пообщайтесь с ними. Ну окей, значит окей.

Торговец твилечками
ок в смысле это приведет к "Это точно человек, нейронка не бывает настолько тупой", да, технологий которые уже существуют достаточно чтобы сделать это, просто чтобы запускать эти огромные дорогие модели для рандомных чатботов пока что нужно МНОГА денег

Ногa
Можете верить в это.

Кьювентри
Поскольку работой с файлами этого не достигли, я сделал такое предположение.

/фейспалмъ

Торговец твилечками
Мышление человека - построение комплексной, наиболее широкой (пусть иногда в деталях и менее точной, чем у узкопрофильного слабого ИИ) модели об окружающем мире (обладающей предсказательной силой итд итп). Модели основанной на всём комплексе сигналов от всех органов чувств: так сказать в координатах своего зрения, осязания и прочего. Чего у компьютерного ИИ нет.

Модели ещё и помноженной на базовые потребности организма (а это мягко говоря не простые стимулы для простых ИИ), архитектуру мозга эволюцией приспособленного к передаче генов дальше по поколениям не смотря на трудности жизни. Нейросети не хватает глубины понимания, не хватает ширины - числа перекрестных ассоциаций.

А ещё люди умеют и приспособлены учиться друг у друга, смоделировать целый социум - задача на порядки более сложная.

"Танк" - это и транспортное средство, это и нечто больших габаритов, а габариты соизмеримы с телом от которого осязание и непосредственное восприятие размера, движения как явления и пр.. Это и тктиеская единица. Много чего. А некая система весов в нейросети смотрящей на картинки: у неё разумеется нет никакого понимания.

Я тоже полагаю, что для того чтобы ИИ получил то же представление (хотя бы его, т.е. только модель, не говорю о стимулах и ценностях) об окружающем мире, он должен получить те же способы познавать окружающий мир. Не только смотреть на картинки цветов в интернете или читать о них в нём же, но и соотносить увиденное и прочитанное со своим опытом - того как цветы выглядят с разных углов (тут нужна и способность строить 3D из плоской картинки, но возникшая не на пустом месте а с опорой на верификацию - свой опыт, иначе чушь выйдет), каковы они на ощупь и запах, понимание того как реагируют люди когда их кому-то дарят, а значит и способности анализировать чужие эмоции, опирающейся на соотношение с ещё одним опытом пока что не доступным машине - иметь свои эмоции по этому же поводу.

ИИ понимающие полноценно человека и сам должен обладать пониманием как у человека (возможно включённым в более широкое и глубокое понимание, если речь о некого фантастическом ИИ невероятного уровня развития).

Но, что самое интересное: "Нет ничего более полезного, для уверенности в истинности своих познаний, чем отсутствие экзаменов..." (с). Художник те или иные экзамены в своём обществе сдаёт постоянно, ИИ обученный что-то там рисовать - нет. Вот и получается что получается.

Рассуждения же про то, что если имитация никакими инструментами не отличимая от оригинала, то не важно как она осуществляется и вообще "проходит утиный тест - утка" - это вообще другой вопрос.

Торговец твилечками
Есть очень много другого, чего при работе с файлами тоже не использовали. Количество раздражителей, количество и постоянство достигаемых целей, наличие того, что можно назвать «повышенным энергопотенциалом» по Веллеру (на самом деле, вероятно, это должно быть частью целей, стремление к деятельности и к некоторой её сложности, каковым должны обладать разные модули психики). По идее, уже при расчерчивании всего этого на бумажке мы должны понять, что даже сейчас пока требуемыми вычислительными ресурсами не обладаем.

финикийский_торговец
Не знаю. Предполагается, что если бы мы получили доступ к Интернету, созданному на планете Хищников с инфракрасным зрением и врождённым чувством эхолокации, то мы бы не смогли даже при всём умственном напряжении понять содержание их Интернета и научиться через некоторое время разговаривать с ними? По-моему, научились бы. Понимание сути мира — схемы причинно-следственных связей — выше конкретной сенсорики.

Ногa
Мат уберите, это раз. Это не просьба, а требование.

Два: чтобы доказать что нейронка в современных видах её архитектур и способов обучения такое может, она должна это сделать. Сделала? Нет? Значит мы не знаем, что она на такое способна.
Легко говорить "технология на это способна, только денег на это не дают", но это стороннего человека не из отрасли никогда не в чём не убедит и это сторонний человек будет прав в своём скепсисе. Нравится это кому или нет.

Кьювентри
У нас есть от чего отталкиваться.

Соглашусь, что мы не ощущаем электромагнитные волны или ионизирующую радиацию, не видим кванты, электрона никто никогда не ощупывал и не взвешивал на руке, но мы говорим о них, претендуем на какое-то понимание. Вооружившись той же логикой, можно сказать что и ИИ обученный на ограниченных чувствах по восприятию окружающего мира остальное воспримет через (условно) аналогии и абстрактные построения, но пока что такое не наблюдается.

Пока что разумно допускать что из-за принципиальных проблем в его устройстве, а не недостатка времени, денег и вычислительных мощностей.

Кьювентри
Полагаю что оценки этого должны делать биологи, этологи и прочие а не философы.
Рога - это к половому отбору в контексте прочих его видов, условий среды и стратегии размножения.

Я кстати думаю ИИ арт устроит отличненький экзамен человеческим художникам. Уже замечаю как некоторые люди в попытках дать определение тому что такое человеческое искусство и как оно принципиально отличается от ИИ артов, (возможно случайно) исключают огромное количество человеческого творчества. Это так забавно на самом деле.

Так что я думаю это появление возможности сравнить "яблоки с яблоками": "гениальную идею художника над которой он работал месяц" и "рандомную блевотину нейросети сгенерированную за полчаса промтинга", и прийти к неутешительным выводам.

Если какой-то дизайнер за пару часов может сделать это https://wargaluk.art/Animal-Life то в чем собственно "большая идея" той картины на которую я смотрю в музее, лол

финикийский_торговец
Любое гипостазирование выше уровня конкретных низкоуровневых утверждений кто-нибудь отнесёт к философии. Практически любого учёного частной предметной области, осмелившегося в той или иной научно-популярной книге предположить нечто более общее, чем «в таких-то случаях наблюдается то-то», обвиняли в том, что он уходит в философию. Соответственно, многие учёные начинают избегать такового абстрагирования или заниматься им крайне осторожно. А поскольку заниматься им кто-то должен, то что ж, пусть эта делянка останется хотя бы философам.

Кьювентри
Спорить не стану, но пока что-то можно объяснить на низком уровне и через редукцию, то это "нечто большее" являющееся чаще всего спекулятивной философией, непроверяемыми концепциями не сильно-то и нужно на практике.
Хотя и уместно в художественной литературе или даже попытках всё таки чуть более последовательно заполнить зияющие дыры в наших полях вопросов - т.е .уже в философии.

Но в данном конкретном случае словесные игры со словом "энергия" не очень нужны, как мне кажется. Диссипативные структуры описываются и физикой, биология - биологией, эволюционной генетикой и пр..

Торговец твилечками
И мы плавно переходим к проблемам NP-полных задач и решения их за конечное время.
Сейчас имеющиеся распознающие сети работают на одну задачу. Примерно так:
Задача: отличить член от пальца.
Сети предъявляют тыщу картинок с членами и пальцами и говорят: вот, смотри, вот это член, а это палец. Сеть учится.
Сети предъявляют новые картинки с членами и пальцами и она правильно говорит, где что.
Пока ей не показывают картинку с пальцем в волосах.
И тогда мы обнаруживаем, что именно служило для сети признаком распознавания.
И вот это и называется ИИ в наши дни. И это реально большой шаг вперед по сравнению с тем, что называлось ИИ раньше.
Возможно, дальше будет лучше.

Виктор Некрам

Сейчас в основном начинают использовать нейросети общего назначения которые потом тренируют (fine tune) на каком-то специфическом датасете, CLIP как пример. Есть много вариаций

Ногa
И-мен-но.
И специфический датасет у них один на сеть. Потому что если задать нейросети пару специфических датасетов, у нее ломается думатель. Можно распознавать танки в оптическом диапазоне, а можно в инфракрасном. Но делать это будут две разных сети (или надо выгрузить один набор настроек и загрузить другой), одна сеть не справится.

Немного о художествах. Наверное, у каждого бывало, что взглянув, допустим, на стену, он разглядел лицо в узорах и блёстках обоев. Человеку необходимо находить лица в условиях помех и плохой видимости: в полутьме, в дождь, между ветвями. Это никак нельзя назвать признаком интеллекта (в обычном, не компьютерном смысле). Такая же система работает и у других животных. Например, сова взлетает, увидев направленный на неё взгляд.
Подобным же образом, разглядывая нечто в узорах, работают и генераторы изображений. Они основываются на программах распознавания изображений. На их вход подаётся белый шум – набор случайных точек – и описание того, что нужно распознать. В первоначальном хаосе отыскиваются детали изображения, пропускаются через множество слоёв распознавания и на выходе формируется картинка, возможно, содержащая требуемое. Где тут интеллект? Нигде. Если он есть, то и сова – мудрейшее животное. Распознавание изображений не является функцией интеллекта. Интеллект здесь можно было бы проявить в понимании описаний, но оно отсутствует напрочь. Хоть сколь-нибудь сложную сцену описать невозможно. Если даже найдутся все требуемые элементы, они будут разбросаны в случайном порядке. Отсутствие действительного понимания прекрасно демонстрирует невозможность описания отсутствия чего-либо. Если систему не тренировать специально на отсутствие каждого атрибута, то она наоборот попытается вставить его, в то время как ребёнок, поняв принцип, понимает это для всех вещей.
Так что, шаг вперёд, в утилитарном смысле, здесь конечно же есть, но система не понимает человеческий язык и, следовательно, всё ещё остаётся на уровне имитации интеллекта. Если кому этого хватает, то отлично. Гуглопереводчик вот неплохо заработал. Движение есть, только оценивать его надо объективно

Да, но в то же время делать такие предсказания на основе этого полностью неверно.


У "системы нет понимания" никак не транслируется в "система будет будет производить спутанные картинки в этом режиме", это просто каждый раз неверно на всем пути развития этой технологии.

Ты указываешь на какой-то failure mode как признак отсутствия настоящего понимания? Поздравляю, следующая же модель с точно такой архитектурой, но немного больше, покажет что ты был неправ. У нее тоже не будет "настоящего понимания" но она избавится от того класса ошибок который ты назвал индикативным

история жизни Gary Marcus-a

забавный пример https://astralcodexten.substack.com/p/i-won-my-three-year-ai-progress-bet

Ногa
Специальной процедурой с конкурирующими нейросетками. Вместо того, чтобы не рисовать сразу то, что не нужно. Результат будет, но мы просто приблизимся к идеальной китайской комнате.

Ну так уже. Dalle к примеру сначала производит более абстрактную репрезентацию запроса, а потом 2 раза детализирует ее. Т.е. сначала сцена и объекты, а уже потом детали этих объектов.

Или имеется в виду adversarial training? это то было с самого начала

Ctrelok
Прозелитизм учения Юдковского?

финикийский_торговец

Нет, по ссылке статья, во первых, другого автора, во вторых, скорее художественная, чем публицистическая. Меня это развлекло, а поскольку в тему, решил оставить здесь.