Гарри Поттер и Методы Рационального Мышления (джен)

Публичное обсуждение, выходящее за рамки описания рациональной модели поведения для тех, кто знает и другой модели для тех, кто не знает, является не самой лучшей идеей.
Пусть я не могу предотвратить, но способствовать вовлечению новых участников не хочу.

Ну отчего же? Поскольку демон (как бы не было его появление маловероятным) не может шантажировать тех, кто о нём не знает, то незнание действительно может защитить людей от него.

Крысо
А. Я как-то упустил, что незнающих демон не наказывает :) Но в этом случае возникает путаница, что значит "знать о демоне". Если человек знает об искусственном интеллекте и о сингулярности, знает ли он о демоне? Или надо обязательно знать, что демон будет наказывать? :) (И вообще, что значит "знать" в данном контексте? :))

Впрочем, неважно. Применяемая стратегия явно провоцирует эффект Стрейзанд :) И рационалист не может этого не понимать :) Поэтому, рационалист, желающий предотвратить распространение информации, по идее, должен придумать пару убедительно выглядящих аргументов "да чушь это всё", тем самым способствуя убиванию интереса к идее :)

Alaric
Вы ходили по ссылке на рэшионалвики? Если да, то непонятно какие могут быть вопросы. Разве что вы рассчитываете вытащить "сократом" какой-то аргумент против.
Если нет, но интересно и не боитесь риска, то почему бы не сходить?

Согласно вневременной теории принятия решений, которой они оперируют на LessWrong, Вы должны представлять, какой именно демон может появиться, и всю его аргументацию, приводящую к угрозе. А если Вы не осознаёте этого, то шантаж невозможен и наказывать, соответственно, не за что.


Ну да. Подумаешь, рационалисты™ открывают для себя пари Паскаля =)

Muyydib
Ходил, но с опозданием. В смысле, сходил только перед написанием предыдущего комментария, до этого оперировал представлением из текста по той ссылке, что давали в августе здесь же.

Крысо

А если я представляю, но в силу недостатка рационализма считаю, что чушь это всё, - это считается или нет? :)

Недостаток рационализма получится рациональнее достатка)
Хотя, по сути, достатка рационализма не бывает, только не у людей.

Мне, кстати, в связи со статьей еще в августе вспомнился случай из реала (мое имхо, много букв, можно пройти мимо, ничего не теряете).

Нужно было получить один документ в мэрии. Получение предполагало процедуру, которая сильно затянулась. Одновременно с этим разрабатывался законопроект, согласно которому процедура усложнилась бы настолько, что вряд ли бы я вообще получила документ.
Я к чиновнику, так и так, давайте, типа, поторопимся, а то все идет к тому, что усилия окажутся напрасными. А он мне ответил, что вопросы надо решать по мере их поступления, закон не вступил в силу, и неизвестно, вступит ли в таком виде, когда вступит и т.д., так что я нагнетаю необоснованно.
Через несколько дней закон приняли с оговоркой, что тот вступает в силу с момента опубликования.
В этот же день мне звонит чиновник и говорит, что мой документ готов и можно забрать. На следующий день закон опубликовали, а я пошла забирать бумажку, подписанную, слава Мерлину, вчера. Чиновник мне и говорит: "Поздравляю, вы успели вскочить на подножку отходящего поезда" (дословно).
Я, конечно, не столько радовалась, сколько злилась на себя. В итоге решила: в следующий раз надо действовать понастырнее, а не слушать вполне рациональные в целом рассуждения о том, что демон пока только в моем воображении.
Да, если предположить, что все было бы в точности так, как случилось, кроме того обстоятельства, что я не знала бы о законопроекте, то с этой точки зрения, я напрасно мучилась. Но все же больше вероятности, что чиновник шевельнулся в последний момент только благодаря демону в моей голове.

Есть основания предполагать, что ИИ будет дружественным только короткий промежуток времени, дружба ведь предполагает некоторую взаимность. А если ИИ перестанет нуждаться в людях, а смысл своего существования станет определять сам, то о какой дружбе идет речь?
К тому же люди слишком нерациональны. Они потребляют неоправданно много ресурсов. То есть перед ИИ вполне может встать вопрос о тотальном контроле. И что самое страшное (лично для меня), что люди в силу своей ограниченности могут не осознать, что они полностью утратили свободу воли (если предположить, что она все же есть), будут пребывать в плену искусственно созданных иллюзий (если предположить, что сейчас это не так). И т.д., рассуждать тут можно долго, да и не факт, что нужно это делать на этом ресурсе. Кстати, плюсы у ИИ, конечно, тоже есть))

>> в следующий раз надо действовать понастырнее, а не слушать вполне рациональные в целом рассуждения о том, что демон пока только в моем воображении.

Ну, я бы сказал, что анализ рисков и затрат во всех случаях разный. Например, если, испугавшись какого-то демона в своей голове, начать "дёргаться" слишком сильно, то себе тоже можно навредить, такую ситуацию вообразить несложно.

madness
100*100км солнечных батарей на земном расстоянии от Солнца, оценка сверху (100 вт на человека*, меньше 10% эффективность, 1400 поток, 10^10 население) Много, но в масштабах Системы в общем фигня. Нормальный линейный ускоритель во внешней Системе больше будет.
*загруженного, разумеется. (Реально даже меньше будет, но нам еще Хрустальные Дворцы Наслаждений с кошкодевками рендерить, то на то и выйдет)

Это да. Жаль, что понятно становится, насколько нужно было сильно дергаться, только постфактум)

Добавлено 10.11.2014 - 13:25:
Fluxius Secundus, насколько это рационально в масштабах ИИ?

Почему нет? Он получает Землю, с ее биоразнообразием и сравнительно доступными тяжелыми элементами, а тратит в основном углерод, железо, кремний и люминь лунные, дешевые.

Есть мнение, что люди активно убивают Землю.
Вопрос (попытка думать с позиции ИИ, хотя, есно, куда мне), а нужны ли люди вообще с их заморочками? В таком количестве? В таком качестве?

Здесь в комментах как-то было о бессмертии в цифровом виде. Да, более рациональный способ существования. Но на кой ИИ сохранять примитив наших сознаний? А если не сохранять, то эти сознания сольются с ИИ. Что это, смерть или бессмертие?

>Есть мнение, что люди активно убивают Землю.
Почему ИИ это должно беспокоить? Нет, научно-технической информацией от наблюдения за биосферой он не побрезгует, но и все. А на Луне биосферы нет, убивать нечего, все Брюнстад сожрал^W^W^W

Хех) *пошла дальше убивать Землю*

+100
идея оцифровки сознания бессмысленна ибо эта итоговая цифровая личность вообще не будет иметь ничего общего с оригиналом и человеческим разумом вообще

А нужно ли создавать ИИ, который не будет озабочен решением наших проблем? Юдковский работает даже не над созданием ИИ, а над тем, чтобы созданный ИИ был Дружелюбным.

Muyydib
в чём вообще смысл ИИ если он всё равно будет ограничен человеческими условностями?

nadeys
Смысл создания ДИИ в том, что он будет настолько умным, что придумает решения для большинства НАШИХ проблем.

Muyydib
сам смысл понятия ИИ подразумевает что он будет обладать мыслительными аппаратом способным преодолевать любые когнитивные искажения включая "дружелюбие"

Добавлено 10.11.2014 - 15:33:
Дадада! дружелюбие - это когнитивное искажение!

Добавлено 10.11.2014 - 15:33:
Если он не способен его преодолеть, то это не ИИ, а просто подчинённый компьютер.

А я не понял. После прочтения саммари про василиска уже нужно начинать страдать? Или все-таки позже?