Гарри Поттер и Методы Рационального Мышления (джен)

Не знаю как с датами обстоят дела, но рационалисты НЕ открыли для себя пари Паскаля в этом случае. Это пари обсуждалось в нескольких статьях:http://lesswrong.com/tag/pascal/
Вполне понятно почему Юдковский считает глупым менять свою жизнь, исходя из крошечной вероятности, которая может обернуться серьезными последствиями, в то время как существуют куда более вероятные варианты и тоже с серьезными последствиями. Вполне понятно, что именно на них стоит обратить внимание.
Но в случае с тем, что мы обсуждаем, не нужно предпринимать серьезных усилий. Не нужно тратить много времени на предотвращение.
Чтобы не быть сбитым машиной, нужно ВСЕГО ЛИШЬ убедиться в безопасности перехода. Нужно ВСЕГО ЛИШЬ не писать в дневнике, что пишет в ответ. ВСЕГО ЛИШЬ не открывать ящик с диббуком.
ВСЕ что требуется от тех, кто знает - НЕ УМНИЧАТЬ И ЗАТКНУТЬСЯ, т.е. не способствовать увеличению числа участников. А так же передавать эту поведенческую модель тем, кто уже знает, но еще не определился с тем, какое поведение будет рациональным в этом случае. Но если уж тема возникла, то следует описать рациональную модель поведения для тех, кто еще не стал участником и причины по которым ему не стоит становиться им.
И я в курсе, что обсуждалось. Где по-вашему я узнал про это?) Я забыл, но спустя некоторое время вопрос вновь всплыл и был обдуман. Шлепнуть меня по лицу словами: "Тебе теперь надо бросать соль, поворачивать после черной коши, стучать по дереву, плевать через плечо", приятно и, кажется, разумно. Но упомянутые суеверия являются самореализующимися пророчествами в силу отсутствия конкретики. После не-бросания соли или не-сворачивания после черной кошки можно посмотреть на события и выбрать ЛЮБОЕ и назвать его бедой, которая произошла из-за неисполнения требований. Но обсуждаемый вопрос предельно конкретен. Впрочем, что это я. Не умничать и заткнуться)

Оу не осилил :( тут много букв

Muyydib
С датами обстоят дела плохо, потому что статья по ссылке явно написана позже, чем обсуждение упоминаемого "демона".

Но главная причина, по которой я считаю, что обсуждаемая ранее реакция Юдковского на ту идею - это прикол, заключается в том, что она напрочь противоречит всему рационализму.
"Если появление ужасного страшного "демона" возможно, я хочу верить, что появление ужасного страшного "демона" возможно. Если появление ужасного страшного "демона" невозможно, я хочу верить, что появление ужасного страшного "демона" невозможно. "
"Правда не перестаёт быть правдой. Признание не сделает её хуже."
Каким образом попытка спрятать голову в песок поможет спастись от чего бы то ни было? Вера в то, что люди перестанут повторять то, что уже придумано - наивна. Даже если мы каким-то образом придём к выводу, что рационально не распространять информацию, совершенно очевидно, что это не выход, поскольку многие люди не ведут себя рационально и информация распространяться будет. И в интернете всё равно почти ничего не пропадает бесследно. Более того, мы никак не можем гарантировать, что через месяц какой-то совершенно другой неизвестный нам человек не придумает этот парадокс заново и не начнёт его распространять в своём кругу, на который у нас нет никакого влияния.

Публичное обсуждение, выходящее за рамки описания рациональной модели поведения для тех, кто знает и другой модели для тех, кто не знает, является не самой лучшей идеей.
Пусть я не могу предотвратить, но способствовать вовлечению новых участников не хочу.

Ну отчего же? Поскольку демон (как бы не было его появление маловероятным) не может шантажировать тех, кто о нём не знает, то незнание действительно может защитить людей от него.

Крысо
А. Я как-то упустил, что незнающих демон не наказывает :) Но в этом случае возникает путаница, что значит "знать о демоне". Если человек знает об искусственном интеллекте и о сингулярности, знает ли он о демоне? Или надо обязательно знать, что демон будет наказывать? :) (И вообще, что значит "знать" в данном контексте? :))

Впрочем, неважно. Применяемая стратегия явно провоцирует эффект Стрейзанд :) И рационалист не может этого не понимать :) Поэтому, рационалист, желающий предотвратить распространение информации, по идее, должен придумать пару убедительно выглядящих аргументов "да чушь это всё", тем самым способствуя убиванию интереса к идее :)

Alaric
Вы ходили по ссылке на рэшионалвики? Если да, то непонятно какие могут быть вопросы. Разве что вы рассчитываете вытащить "сократом" какой-то аргумент против.
Если нет, но интересно и не боитесь риска, то почему бы не сходить?

Согласно вневременной теории принятия решений, которой они оперируют на LessWrong, Вы должны представлять, какой именно демон может появиться, и всю его аргументацию, приводящую к угрозе. А если Вы не осознаёте этого, то шантаж невозможен и наказывать, соответственно, не за что.


Ну да. Подумаешь, рационалисты™ открывают для себя пари Паскаля =)

Muyydib
Ходил, но с опозданием. В смысле, сходил только перед написанием предыдущего комментария, до этого оперировал представлением из текста по той ссылке, что давали в августе здесь же.

Крысо

А если я представляю, но в силу недостатка рационализма считаю, что чушь это всё, - это считается или нет? :)

Недостаток рационализма получится рациональнее достатка)
Хотя, по сути, достатка рационализма не бывает, только не у людей.

Мне, кстати, в связи со статьей еще в августе вспомнился случай из реала (мое имхо, много букв, можно пройти мимо, ничего не теряете).

Нужно было получить один документ в мэрии. Получение предполагало процедуру, которая сильно затянулась. Одновременно с этим разрабатывался законопроект, согласно которому процедура усложнилась бы настолько, что вряд ли бы я вообще получила документ.
Я к чиновнику, так и так, давайте, типа, поторопимся, а то все идет к тому, что усилия окажутся напрасными. А он мне ответил, что вопросы надо решать по мере их поступления, закон не вступил в силу, и неизвестно, вступит ли в таком виде, когда вступит и т.д., так что я нагнетаю необоснованно.
Через несколько дней закон приняли с оговоркой, что тот вступает в силу с момента опубликования.
В этот же день мне звонит чиновник и говорит, что мой документ готов и можно забрать. На следующий день закон опубликовали, а я пошла забирать бумажку, подписанную, слава Мерлину, вчера. Чиновник мне и говорит: "Поздравляю, вы успели вскочить на подножку отходящего поезда" (дословно).
Я, конечно, не столько радовалась, сколько злилась на себя. В итоге решила: в следующий раз надо действовать понастырнее, а не слушать вполне рациональные в целом рассуждения о том, что демон пока только в моем воображении.
Да, если предположить, что все было бы в точности так, как случилось, кроме того обстоятельства, что я не знала бы о законопроекте, то с этой точки зрения, я напрасно мучилась. Но все же больше вероятности, что чиновник шевельнулся в последний момент только благодаря демону в моей голове.

Есть основания предполагать, что ИИ будет дружественным только короткий промежуток времени, дружба ведь предполагает некоторую взаимность. А если ИИ перестанет нуждаться в людях, а смысл своего существования станет определять сам, то о какой дружбе идет речь?
К тому же люди слишком нерациональны. Они потребляют неоправданно много ресурсов. То есть перед ИИ вполне может встать вопрос о тотальном контроле. И что самое страшное (лично для меня), что люди в силу своей ограниченности могут не осознать, что они полностью утратили свободу воли (если предположить, что она все же есть), будут пребывать в плену искусственно созданных иллюзий (если предположить, что сейчас это не так). И т.д., рассуждать тут можно долго, да и не факт, что нужно это делать на этом ресурсе. Кстати, плюсы у ИИ, конечно, тоже есть))

>> в следующий раз надо действовать понастырнее, а не слушать вполне рациональные в целом рассуждения о том, что демон пока только в моем воображении.

Ну, я бы сказал, что анализ рисков и затрат во всех случаях разный. Например, если, испугавшись какого-то демона в своей голове, начать "дёргаться" слишком сильно, то себе тоже можно навредить, такую ситуацию вообразить несложно.

madness
100*100км солнечных батарей на земном расстоянии от Солнца, оценка сверху (100 вт на человека*, меньше 10% эффективность, 1400 поток, 10^10 население) Много, но в масштабах Системы в общем фигня. Нормальный линейный ускоритель во внешней Системе больше будет.
*загруженного, разумеется. (Реально даже меньше будет, но нам еще Хрустальные Дворцы Наслаждений с кошкодевками рендерить, то на то и выйдет)

Это да. Жаль, что понятно становится, насколько нужно было сильно дергаться, только постфактум)

Добавлено 10.11.2014 - 13:25:
Fluxius Secundus, насколько это рационально в масштабах ИИ?

Почему нет? Он получает Землю, с ее биоразнообразием и сравнительно доступными тяжелыми элементами, а тратит в основном углерод, железо, кремний и люминь лунные, дешевые.

Есть мнение, что люди активно убивают Землю.
Вопрос (попытка думать с позиции ИИ, хотя, есно, куда мне), а нужны ли люди вообще с их заморочками? В таком количестве? В таком качестве?

Здесь в комментах как-то было о бессмертии в цифровом виде. Да, более рациональный способ существования. Но на кой ИИ сохранять примитив наших сознаний? А если не сохранять, то эти сознания сольются с ИИ. Что это, смерть или бессмертие?

>Есть мнение, что люди активно убивают Землю.
Почему ИИ это должно беспокоить? Нет, научно-технической информацией от наблюдения за биосферой он не побрезгует, но и все. А на Луне биосферы нет, убивать нечего, все Брюнстад сожрал^W^W^W

Хех) *пошла дальше убивать Землю*

+100
идея оцифровки сознания бессмысленна ибо эта итоговая цифровая личность вообще не будет иметь ничего общего с оригиналом и человеческим разумом вообще

А нужно ли создавать ИИ, который не будет озабочен решением наших проблем? Юдковский работает даже не над созданием ИИ, а над тем, чтобы созданный ИИ был Дружелюбным.

Muyydib
в чём вообще смысл ИИ если он всё равно будет ограничен человеческими условностями?