Гарри Поттер и Методы Рационального Мышления (джен)

DarkCarol
У меня подозрение что Юдковский как и любой приличный человек удаляет со своего сайта всякие флудерские темы))
А флудеры больные СПГС соответственно раздули из мухи слона.
Найти бы по данному вопросу мнение самого Юдковкого...

nadeys, в оригинальной статье оно приведено полностью, в переводе только часть:

http://clck.ru/9Hmdv


You may be a bit confused, but the founder of LessWrong, Eliezer Yudkowsky, was not. He reacted with horror:

Listen to me very closely, you idiot.
YOU DO NOT THINK IN SUFFICIENT DETAIL ABOUT SUPERINTELLIGENCES CONSIDERING WHETHER OR NOT TO BLACKMAIL YOU. THAT IS THE ONLY POSSIBLE THING WHICH GIVES THEM A MOTIVE TO FOLLOW THROUGH ON THE BLACKMAIL.
You have to be really clever to come up with a genuinely dangerous thought. I am disheartened that people can be clever enough to do that and not clever enough to do the obvious thing and KEEP THEIR IDIOT MOUTHS SHUT about it, because it is much more important to sound intelligent when talking to your friends.
This post was STUPID.




Добавлено 18.08.2014 - 21:56:
Судя по всему это было аж летом 2010 года. http://pastebin.com/iDD0ydXu

может я чего не понимаю, но по сути это модификация банального Пари Паскаля:
У вас есть выбор из двух вариантов:
1) Верить в бога, тратить время и ресурсы на соблюдение ритуалов
2) Не верить в бога, экономить время и ресурсы, но есть шанс что после смерти вы попадёте в ад на вечные муки.
При прочих равных рациональный индивид естественно выберет первый вариант и общество очень быстро превратится в склоку фанатиков (и надо сказать в истории немало случаев когда именно так всё и происходило, только вместо абстрактной божьей кары был вполне конкретный инквизиторский костёр).
Василиск Роко это просто современная интерпретация данного пари и с той оговоркой что Юдковский реально ВЕРИТ в наступление сингулярности картина получается реально страшная:
1) Либо вы участвуете в создании суперинтеллекта который в будущем установит тотальную диктатуру на планете и уничтожит всех конкурентов
2) Либо вы участвуете в создании мирного дружелюбного интеллекта и тогда кто-то другой создаст Супердиктатора и вас уничтожат.

В любом случае вас уничтожат, поэтому расслабьтесь и получайте удовольствие сейчас, пока ИИ не изобретен :)

По-моему, тут всё упирается в те же самые ответы, которые давно даны на религиозные парадоксы.
Вера в этого самого Василиска Роко - это вера в существо, которое одновременно всемогущее и при этом нерациональное - ибо зачем рациональному существу мучить других? (Если оно это делает для поддержания собственного могущества, то значит всемогущим оно не является и с ним можно бороться.) Примерно также многие люди отвечают на всяческие религиозные аргументы - совершенно невозможно представить существо, которое является всемогущим и всеведущим, но которому не всё равно, молится ему конкретный человек или нет. (Хотя, конечно, следует заметить, что, если человек не может что-то представить, это ещё не означает, что этого не существует и не может существовать, но тут уже есть вопросы фальсифицируемости.)

На упомянутое Пари Паскаля, кстати, существует вполне остроумный ответ, что согласно множеству религий за исполнение ритуалов другой религии тоже полагаются вечные муки. Учитывая, что религий много, шансы выбрать правильную примерно равны нулю :)
Здесь, в общем-то, та же история - вдруг вы будете участвовать в создании не того суперинтеллекта, который в итоге захватит власть, а того, кто в борьбе проиграет? :)

Лично я бы предложил гипотезу, что Юдковский подобным ответом просто постебался над автором и теми, кто во всё это поверил. А тему удалил как бредовую.

а вдруг Юдковский теперь боится, что все станут избегать ИИ :|

В смысле, все перепугаются этого парадокса и из-за этого сингулярность не наступит? :)

Когда речь идет о рациональности несуществующих существ, то спрашивается: почему они должны быть рациональны по нашему? С их стороны любое действие может быть просто развлечением или экспериментом.
Никто не может доказать насколько рациональны и рациональны ли по нашему существа, которых мы не знаем, но которые где-то есть.

kinmy
Когда речь идёт о рациональности несуществующих существ, то спрашивается: почему же мы должны их бояться, ведь они же несуществующие? :)

Любое убеждение, которое нельзя проверить, не имеет смысла. Любое убеждение, которое никак не меняет твоих действий, тоже не имеет смысла. Почему вы убеждены, что невидимый, неслышимый и неосязаемый дракон, который живёт у вас под кроватью (вы не сможете доказать, что он там не живёт), в один момент не станет видимым, слышимым и осязаемым и вас не сожрёт? Я пока не вижу, почему бояться злобного всемогущего ИИ, который будет вечно мучить людей, более рационально, чем бояться вышеупомянутого дракона.

Дракон может и не так реален, а руки перед едой моете.
Если мы не видим чего-то, но знаем его проявления, то это может, по не полному знанию, принять своеобразную форму.
Но суть не в форме - приборы перед операцией надо мыть в спирту и прокаливать на огне, иначе смертность на столе будет очень высокой.
И очень печально, когда ты не можешь это объяснить всем вокруг, ведь твоя догадка бредова для твоего времени - есть животные, которые так малы, что их невидно и они убивают пациентов.

В наше время даже представить себе квантовый мир никому не под силу. А если вдруг потом окажется, что те странные аномалии есть проявление соседнего к нам измерения пространства и времени?
Сейчас такое воспримут фантастикой, но попробуй докажи это, если вдруг действительно обнаружишь :)

Рациональность всего лишь способ мышления, с кучей условностей, на основе ограниченной информации мыслящего. Поэтому наш мозг, по каким-то только ему ведомым причинам, для особо сложных мыслительных процессов предпочитает покой, тишину, лежачее состояние и полную свободу от каких-либо рамок мышления. Только так можно найти верное направление в миллионах ложных.

Страх - реакция нашего организма на наше воображение, мы всегда боимся того, чего пока не существует, хотя доля вероятности наступления разных событий разная, а иногда ее нет совсем. Чем больше предпосылок для того, чтобы ситуация сложилась нежелательно, чем более негативны последствия, или чем больнее воображение, тем сильнее страх.
Страх здорового человека рационален. Если страх есть, то полезнее осознать, какую основу он имеет, чем пытаться игнорировать.

История человечества наталкивает на мысль, что в перспективе возможно создание чего угодно.

Страх перед ИИ, я думаю, основывается на невозможности просчитать, к чему приведет создание ИИ)

Страх неизвестности. Никогда не знаешь, откуда придет смерть. А если ты рационален, то знаешь слишком много таких путей. Счастливым в неведении уже не остаться. Приходится убеждать себя, что что бы ни делал - так и так умрешь, и опасаться лишь самого очевидного :)
Счастливым не будешь, но покой обретешь точно. Покойную рассудительность, хы.

Это если мы знаем его проявления. Если мы знаем проявления, то мы можем ставить эксперименты и выяснять, когда эти проявления проявляются больше, а когда меньше. А тут пример из области, когда мы не знаем ничего и просто фантазируем.


А вдруг завтра в нашей Матрице выключат гравитацию? А вдруг у вас под кроватью живёт всё-таки дракон?
От всех "вдругов", которые могут прийти в голову с крайне богатым воображением, не убережёшься. Почему вы считаете, что от пришельцев из соседнего квантового пространства беречься надо, а от невидимого дракона под кроватью - нет?


Естественно. Ни у кого из нас нет доступа к неограниченной информации :) Зачем был бы нужен метод, которым всё равно никто из нас не мог бы воспользоваться? :)

madness
Я понимаю, но в данном случае, мне представляется, что гипотеза, что у Юдковского на самом деле никакого страха нет, и это был лишь розыгрыш - более вероятна. Потому что иначе у него идёт нарушение сразу множества идей, которые он пытается пропагандировать, и в этом случае уже вопрос в "здоровости" :)

Искусственный интеллект уже создан - это Наука, без него мы бы продолжили быть в средневековье. Пока он исполняется медленно и мы можем его контролировать в своих интересах, но он создал компьютеры и скоро вырвется из под контроля...

Mr.Кролик
И будет жестоко наказывать тех, кто не занимался наукой :)))

Alaric
Те кто не занимается наукой бесцельно тратят ресурсы - значит их следует истреблять)

а если они при этом не тратят ресурсы? :D

тогда Наука пойдет по сценарию фильма Матрица и сможет вечно добывать энергию из них

Что-то меня пробило на сантименты:
http://www.fanfics.me/index.php?section=profile&id=54573&message_id=70385

Сантименты не рациональны *волдеморт_фейс*