↓
 ↑
Регистрация
Имя/email

Пароль

 
Войти при помощи
Временно не работает,
как войти читайте здесь!
Кьювентри
24 мая в 19:08
Aa Aa
#нейросети #вкалывают_роботы #философия

Недавно пришла в голову ещё одна мысль об опасности, представленной нейронками. Только это... не опасность, исходящая от нейронок. И даже не опасность, исходящая от нас. Как бы объяснить?
В чём-то это пересекается с концепцией западного физика Хоффмана: «Мир нереален, всё нереально, эволюция вовсе не была обязана учить нас правильно воспринимать мир, мы в крипипасте, АААААА!!!»
В чём суть идеи?
Нейросети (эти машинные) строят речь с собеседником на основе идеи «предсказать следующее слово». Это не простой частотный анализ, они формируют тысяч тысяч вспомогательных конструкций, там ещё надстройки и дополнительные приказы, но в основе лежит то, о чём сказано выше.
Каков самый простой способ «предсказать следующее слово»? Казалось бы — на человеческий взгляд — смоделировать, хотя бы грубо, самого автора. Его мотивы и личность.
Почему мы так думаем?
Ну, потому что само наше познание изначально работает на этом принципе. Как мы познаём — думаем, что познаём, — Вселенную? Создаём в голове модель внешнего мира, которая позволяет нам правильно предсказывать, каким будет наше следующее ощущение от контакта со Вселенной. И принимаем условно эту модель за истину.
Вот только... нейросети-то, похоже, ухитряются «предсказывать следующее слово», не моделируя автора в виде маленького гомункулуса внутри.
А значит, возможно, мы, моделируя Вселенную... тоже?
Я не знаю, какая из гипотез на самом деле страшнее:
1) что мы, действуя как тупые нейронки, моделируем предсказываемый нами объект абсолютно неправильно почти на всех уровнях;
2) что LLM на самом деле для предсказания текста всё-таки моделируют внутри маленького гомункулуса-автора, но не говорят об этом.
24 мая в 19:08
4 комментариев из 77 (показать все)
Матемаг
Это противоречит словам о "параметрах поиска", которые "вошли в конфликт". Во-первых, никаких конфликтов там нет, во-вторых, нет поиска. Я вроде бы на конкретную вещь отвечал.
Чувствую потенциал срачегенности, но о'кей.
Ты свободно пользуется если-то здесь. А должна бы отказаться, "если конструкция верна". Ты продолжаешь обсуждать выводы из идеи, что логика не работает и/или не верна, используя логику. И потом переспрашиваешь, что же в этом не так. Серьёзно?
Здесь всё ещё нет логического противоречия. Если я пытаюсь логически доказывать, что логика в нашем мозгу неверна, и если при этом логика в нашем мозгу действительно неверна, — значит, я озвучиваю совершенно правильный вывод, хотя и пользуясь неверными инструментами. И речь в конечном итоге о правильности вывода.
При этом «неверность инструмента» относительна — как уже говорилось выше, логикой и математикой искусственные нейросети могут пользоваться как минимум в ограниченных масштабах. Всегда можно предположить, что моё рассуждение (обесценивающее логику в нашем мозгу) корректно сработало потому, что на этом масштабе логика работала.
Даже может в самой реальности разобраться, чего уж тут. Для этого ей надо организовать стопицот "датасетов разных реальностей" или типа того (понятия не имею, как это может выглядеть), а на ввод дать параметры нашей. Проблема в том, что "датасетов реальности" не существует.
Вот это вот да, наверное, сильное возражение. Интересно, что вероятней в масштабах Вселенной — что Вселенная подсунула эволюционирующим существам чисто случайно «стопицот датасетов» или что возникла правильная модель реальности в чьём-то мозгу?
Ага, но он при этом делает супервентность с комбинацией физики и "метафизики", насколько я понял. И нет, "реально знать" субъект о квалиа можно, потому что квалиа - это не только ощущение-здесь-и-сейчас, но и ПОНЯТИЕ этого ощущения. К которому можно прийти логическим путём, вполне себе причинно-следственно. Т.е. понятие квалиа супервентно на физическом. Квалиа - нет. У существования квалиа есть более сильное свидетельство, чем логика.
Ты имеешь в виду что-то вроде идеи предустановленной гармонии, по которой понятия о квалиа и наши рассуждения вслух о квалиа возникают параллельно сами собой без всякой причинно-следственной связи с квалиа? Кажется, это та самая причина, по которой над чалмерсовским понятием о квалиа издевался Юдковски. Я сейчас пишу о своих квалиа, но делаю это не из-за своих квалиа, это просто параллельно совпало так, философский зомби на моём месте делал бы то же самое.
Замечательная версия.
Её можно сделать чуть более правдоподобной, вспомнив, что «свобода воли» — иллюзия, и сказав, что «квалиа» не являются причинными прародителями чего бы то ни было, а лишь пассивными отражениями. Но и это как-то грустненько (какие-то метафизические Предтечи решили пошутить и через пятое измерение приделали к каждому мёртвому импульсу боли в нервной системе метафизического страдающего живого наблюдателя, который пассивно страдает и не может сбежать, лол).
Если серьёзно:
— эта гипотеза как бы удваивает квалиа, говоря, что есть две равные по сложности и изоморфные друг другу структуры «там» и «здесь».
Она информационно избыточна, поскольку проще предположить, что тогда находящаяся «здесь» структура — и есть квалиа. На интуитивное чувство недоумения «я не понимаю, как этот кирпич или эта ионная эстафета в мозгу может быть сама для себя квалиа» — забить.
Показать полностью
Матемаг
BrightOne
Почему не может? Это самое сильное свидетельство из вообще возможных.

Неа. Ощущение - свидетельство существования "чего-то", но оно ни хрена ровным счетом не говорит о природе этого чего-то. Взять махрового атеиста и материалиста вроде меня, устроить стимуляцию височной доли - и он ощутит такое божественное присутствие, что Моисей с Жанной Д'Арк от зависти лопнут. А уж тонны когнитивных искажений на все вкусы - наглядная демонстрация того, что ощущение - весьма хреновое мерило истины. На практике мы как раз адекватность ощущений проверяем по согласованности нашей модели мира и по тому, как это ощущение в него вписывается. Именно эта модель - самое сильное свидетельство из существующих. А ощущение - просто состояние мозга, и вызвать его может буквально что угодно.

В данном случае мы ощущаем себя, и ощущение это называем сознанием (и да, у меня это ощущение тоже есть). Но с какой стати мы это ощущение должны наделять внефизической природы? Собственно, даже Чалмерс этого не делает - он пытается выводить акаузальность сознания логически. Рассуждение его ошибочно, но он все же пытается.

На самом деле, вся окружающая реальность может быть матрицей, а ты - мозгом в банке, но текущее, сиюминутное ощущение у тебя прямо сейчас есть.

Ну да. Из чего следует только то, что в какой-то форме я как субъект восприятия существую - вполне тривиальный вывод, до которого еще Декарт допер. А вот выводы о квалиа, о внефизическом сознании и т.п. из самого факта ощущения не следуют вообще никак.

но да, попытаться включить квалиа в причинно-следственные связи - это путь.

А иначе и никак. Если квалиа каузально - без проблем, у меня нет принципиальных возражений против такой его трактовки. Возражения у меня, причем фундаментальные, против внефизичности. Даже панпротопсихизм имеет право на существование (ничем не подтверждается, но хотя бы и явных косяков в логике не имеет), но внефизичность сознания - пардон, бред.

В том и фишка, что одновременно отрицать своё текущее, живое ощущение и при этом считать, что оно, эм, не существует ни в каком смысле и никак никем не ощущается - это очень странная позиция.

Не странная, если высказывает ее пресловутый зомби. :-) У него действительно нет достаточных оснований считать, что субъективные ощущения есть у кого бы то ни было.

Но какие ещё варианты помимо признания особого статуса квалиа?

Ну как какие? Признать квалиа иллюзией и когнитивным искажением, а его "особый статус" - чисто коммуникационной проблемой. Я так и делаю, собственно. Наши сложности с тем, чтобы объяснить слепому инопланетянину, чем ощущение красного цвета отличается от ощущения зеленого, связаны не с "особым статусом", а лишь с тем, что у нас никогда не было возможности показать свои ощущения кому-то извне, ткнуть в них пальцем и сказать, что это, мол, зеленое. А со всем прочим, что есть в нашем языке, такая возможность у нас была. Ближайшая аналогия - мы точно так же не можем (ну, почти) объяснить в режиме чата, чем правое отличается от левого. Без того, чтобы размахивать руками, крутиться вокруг своей оси и тыкать пальцем. Вроде бы обнаружили не так давно стереоасимметричные процессы в физике элементарных частиц, которые позволяют построить такое объяснение, но для этого с обеих сторон чата должны быть специалисты по этой части.

Ага, но он при этом делает супервентность с комбинацией физики и "метафизики", насколько я понял.

Нет, он ничего не комбинирует. Он просто рассматривает две трактовки сознания: функциональную и феноменальную. Существующие теории сознания он отбраковывает именно по причине того, что они описывают функциональное сознание (как состояние мозга), а сам он пытается построить теорию именно феноменального сознания, которое у него в причинно-следственную связь не вступает.

И нет, "реально знать" субъект о квалиа можно, потому что квалиа - это не только ощущение-здесь-и-сейчас, но и ПОНЯТИЕ этого ощущения. К которому можно прийти логическим путём, вполне себе причинно-следственно.

Как? Логика не создает информации и не увеличивает сумму знаний, логика - просто формальная система. Чтобы при помощи логики прийти к выводу о существовании сознания, это знание уже должно быть частью известной информации, а это возможно только в том случае, если оно порождает физические факты, т.е. является физически наблюдаемым. Если таковая сущность есть, то она может быть чем угодно, но только не феноменальным сознанием Чалмерса.

В том и центральный аргумент Чалмерса, что квалиа может быть как понятие открыто и изучено как философским зомби, так и чувствующим разумом, причём совершенно одинаковым образом.

Да это не аргумент, это мнение, притом явно ошибочное - см. выше. Мнение это может быть верным лишь при изучении физического явления. Но Чалмерс с первой главы отрицает его физичность (собственно, концепцию зомби он привлек именно для этого: чтобы показать, что возможны два физически идентичных живых человека, но при этом лишь у одного из них будет сознание, а значит сознание - нечто, не описываемое физикой и не участвующее в физических взаимодействиях).

Т.е. мы как бы добавляем свойство, которое ничего не делает, но при этом в структурах, похожих на разум, формирует нефизическое ощущение, квалиа.

Вот только почувствовать мозг его может лишь в том случае, если оно таки ж физично и, следовательно, функционально (т.е. про "ничего не делает" - уже неверно). В противном случае мозг не изменит своего состояния, никакого квалиа не ощутит и не запомнит. Само это гипотетическое бесплотное сознание может чувствовать все, что угодно, но самим людям это по барабану - они не получают никакой информации и никаких ощущений от такого сознания. Все равно, что невидимый призрак, который таскается за нами по пятам и не влияет ни на наше поведение, ни на наше восприятие.
Показать полностью
Кьювентри
— эта гипотеза как бы удваивает квалиа, говоря, что есть две равные по сложности и изоморфные друг другу структуры «там» и «здесь».
Нет, разумеется. Где вторая сущность-то? В голове у людей есть тонна понятий, которые не отражены в реальности. Квалиа может быть одним из них (и многие считают, что так оно и есть, в общем-то).

Она информационно избыточна, поскольку проще предположить, что тогда находящаяся «здесь» структура — и есть квалиа.
Осталось сопоставить. Проблема в том, что сам по себе процесс сопоставления... ну, а как его построить? Как "доказать", что ощущение-здесь-и-сейчас и вот эта конфигурация мозга - это одно и то же? Очевидно, что это НЕ одно и то же - одно есть ощущение, другое есть конфигурация. Что в информационном плане, что в физическом - в физическом вообще никаких ощущений нет, есть состояния мозга и процессы в мозгу. Которые потом можно интерпретировать как ощущения - а толку?

Интересно, что вероятней в масштабах Вселенной — что Вселенная подсунула эволюционирующим существам чисто случайно «стопицот датасетов» или что возникла правильная модель реальности в чьём-то мозгу?
Примерно в этом районе теорвер отказывается работать:)

Здесь всё ещё нет логического противоречия. Если я пытаюсь логически доказывать, что логика в нашем мозгу неверна, и если при этом логика в нашем мозгу действительно неверна, — значит, я озвучиваю совершенно правильный вывод, хотя и пользуясь неверными инструментами. И речь в конечном итоге о правильности вывода.
При этом «неверность инструмента» относительна — как уже говорилось выше, логикой и математикой искусственные нейросети могут пользоваться как минимум в ограниченных масштабах. Всегда можно предположить, что моё рассуждение (обесценивающее логику в нашем мозгу) корректно сработало потому, что на этом масштабе логика работала.
Ты всюду здесь использовала логику. Правильность - это понятие логики. Если-то - логика. Предположение - логика. И так далее. Такое.
Показать полностью
BrightOne
Неа. Ощущение - свидетельство существования "чего-то", но оно ни хрена ровным счетом не говорит о природе этого чего-то
Оно говорит о существовании самого себя, разве не так? Ты ощущаешь что-то. Верно? Ощущаешь же (в предположении, что в нашем мире нет философских зомби, лол)? Вот и. А мог бы не ощущать с сохранением осознания структуры ощущений. Т.е. ты бы знал, что видишь синее, но не ощущал бы синее. Фактически та твоя часть, которая отвечает за анализ, не различает осознание синего от ощущения синего и не может отличать - она не работает с квалиа. По идее, чисто эволюционно ничего не должно работать с квалиа и квалиа не должно быть в принципе, потому что никакого смысла в них нет. А они есть. Странное.

Не странная, если высказывает ее пресловутый зомби. :-) У него действительно нет достаточных оснований считать, что субъективные ощущения есть у кого бы то ни было.
Ну, у него, как и у меня, есть память об ощущениях (на самом деле, структуре ощущений, потому что каждое конкретное ощущение никак не сохраняется в памяти). Предположить, что за каждым набором свойств стоит конкретная сущность, довольно просто, мы так и делаем.

А иначе и никак. Если квалиа каузально - без проблем, у меня нет принципиальных возражений против такой его трактовки.
Тогда возникает вопрос, как нам указать квалиа. Ну, типа, а где оно. Если оно участвует в причинно-следственных связях, то оно, ну, существует как объект, процесс, состояние, etc. После последовательного анализа оказывается, что квалиа не оказывается ничем из перечисленного. Нет, можно, конечно, какую-нибудь "душу" добавить, но чё-т с обнаружением души у науки туго идёт, хех.

Ну как какие? Признать квалиа иллюзией и когнитивным искажением, а его "особый статус" - чисто коммуникационной проблемой
Ну см. выше, так и делают те, кто не считают квалиа чем-то вообще существующим, например, ты.

Нет, он ничего не комбинирует. Он просто рассматривает две трактовки сознания: функциональную и феноменальную. Существующие теории сознания он отбраковывает именно по причине того, что они описывают функциональное сознание (как состояние мозга), а сам он пытается построить теорию именно феноменального сознания, которое у него в причинно-следственную связь не вступает.
Так он вроде и соединяет две концепции сознания, нет? Функциональная соответствует функциональному сознанию, феноменальная - феноменальному. Они они существуют одновременно. Феноменальная - это к квалиа, функциональная - ко всему, что сейчас в этом районе изучает наука.

Как? Логика не создает информации и не увеличивает сумму знаний, логика - просто формальная система. Чтобы при помощи логики прийти к выводу о существовании сознания, это знание уже должно быть частью известной информации
Эм, физическая информация, вообще говоря, генерируется непрерывно, мозг - это физическая система. В чём проблема, не могу понять? Каждое взаимодействие двух макрообъектов "оставляет отпечаток" на них обоих. С микрообъектами такая же бодяга плюс-минус, не зря в квантмехе были вопросы к тому, что информация уничтожается в чёрной дыре, потому что так быть не должно. Ты исходишь из положения, что информация - это чисто виртуальная сущность, висящая в вакууме, но это не так. Ну и наконец: в замкнутой системе энтропия не убывает, но в открытой... Аналогию между закрытой системой и формальной логикой и открытой системой и нашим мышлением можешь провести сам:)

это знание уже должно быть частью известной информации, а это возможно только в том случае, если оно порождает физические факты, т.е. является физически наблюдаемым. Если таковая сущность есть, то она может быть чем угодно, но только не феноменальным сознанием Чалмерса.
На самом деле, люди придумали кучу вещей, которые не являются физически наблюдаемыми. И вообще не существуют. Если применить твоё рассуждения к ним, то получится, что где-то всё-таки существуют розовые единороги, какающие радугой, но это, вероятно, неверно и таковых нет. Математических понятий вообще ни в каком смысле не существует и существовать не может - однако же! Кстати, как там с Богом? Если применить твоё рассуждение к нему, то... ой вейт!

Да это не аргумент, это мнение, притом явно ошибочное - см. выше. Мнение это может быть верным лишь при изучении физического явления. Но Чалмерс с первой главы отрицает его физичность (собственно, концепцию зомби он привлек именно для этого: чтобы показать, что возможны два физически идентичных живых человека, но при этом лишь у одного из них будет сознание, а значит сознание - нечто, не описываемое физикой и не участвующее в физических взаимодействиях).
Пока что его логика мне кажется если не безупречной, то имеющей малую долю недочётов. В смысле, попытка сделать квалиа физическим просто укажет на какой-то физический аспект ощущений. Не на квалиа. У меня даже воображения не хватает, как сделать квалиа физическим. Т.е. такая система, модель или эксперимент не мыслится. Возможно, я просто тупой, конечно.

Вот только почувствовать мозг его может лишь в том случае, если оно таки ж физично и, следовательно, функционально (т.е. про "ничего не делает" - уже неверно).
О том и речь, что физическая система "мозг" его не чувствует. Поэтому физической разницы между филзомби и нефилзомби тупо нет.

и не запомнит
Квалиа не запоминаются.

Все равно, что невидимый призрак, который таскается за нами по пятам и не влияет ни на наше поведение, ни на наше восприятие.
Именно так. Мне это, кстати, не нравится, но как я писал выше, не мыслится даже эксперимент, который может квалиа в физическое перенести. Был бы у нас мир не материалистический - тогда да, тогда мыслился бы, а так...
Показать полностью
ПОИСК
ФАНФИКОВ











Закрыть
Закрыть
Закрыть