Ситуация с Василиском была разобрана в одном из комментариев с Лессвронга на примере с «ограблением Паскаля» (гипотетическая ситуация, где к вам подваливает незнакомец и говорит, что он аватар некоей могущественной трансгалактической сущности и проделывает над вами особый тест: если вы сейчас не нальёте ему бесплатно выпить, то он подвергнет страшным мучениям сто в сотой степени людей в другой вселенной. Идея в том, что, какой бы малой вы не считали вероятность, что незнакомец говорит правду, мысленно поделив размер угрозы на вероятность, как приказывает большинство теорий принятия решений, вы всё равно должны впечатлиться и налить ему выпить. А незнакомец ещё и всегда может увеличить размер угрозы, заявив, что будет мучить миллион в тысячной степени людей или ещё больше).
Суть в чём?
Вероятность «если я не налью этому человеку выпить, сто в сотой степени людей будут мучаться» существовала ещё до того, как этот человек рассказал вам о ней.
Эта вероятность существовала всегда.
Так же, как всегда существовала вероятность «если я НАЛЬЮ этому человеку выпить, сто в сотой степени людей будут мучаться».
Так же, как всегда существовала вероятность «если я подниму сейчас правую руку, вселенная исчезнет».
Так же, как всегда существовала вероятность «если я НЕ подниму сейчас правую руку, вселенная исчезнет».
Таким образом можно оправдать абсолютно любое действие.
Так работают обсессивно-компульсивные расстройства.
То, что одинаково сильно поддерживает любую стратегию, на самом деле не поддерживает никакую стратегию.
Эти вероятности отменяют друг друга. И тот факт, что мы знаем возможную прагматическую причину слов человека, который просит у нас бесплатную выпивку, делает вероятность того, что его слова правдивы, ниже противоположной вероятности.
Та же ситуация с Василиском Роко. Можно представить себе бесконечное число возможных ящериков, принуждающих тебя к чему угодно.
Эта дилемма не так опасна, как боялся Юдковски, поскольку люди, не способные раскусить эту головоломку, едва ли способны приблизить создание недружественного искусственного интеллекта.
Jas Tina:
Если вы цените юмор, сарказм и истории, где бюрократия умудряется победить даже саму Смерть, то это ваш выбор. Вас ждет уморительный коктейль из бюрократии, жнецов смерти, безумных нововведений и, кон...>>Если вы цените юмор, сарказм и истории, где бюрократия умудряется победить даже саму Смерть, то это ваш выбор. Вас ждет уморительный коктейль из бюрократии, жнецов смерти, безумных нововведений и, конечно же, неподражаемого Грелля Сатклиффа, который сделает все, чтобы вывести из себя бедного Уильяма Т. Спирса!