![]() |
Кьювентри Онлайн
22 февраля в 06:12
|
Ситуация с Василиском была разобрана в одном из комментариев с Лессвронга на примере с «ограблением Паскаля» (гипотетическая ситуация, где к вам подваливает незнакомец и говорит, что он аватар некоей могущественной трансгалактической сущности и проделывает над вами особый тест: если вы сейчас не нальёте ему бесплатно выпить, то он подвергнет страшным мучениям сто в сотой степени людей в другой вселенной. Идея в том, что, какой бы малой вы не считали вероятность, что незнакомец говорит правду, мысленно поделив размер угрозы на вероятность, как приказывает большинство теорий принятия решений, вы всё равно должны впечатлиться и налить ему выпить. А незнакомец ещё и всегда может увеличить размер угрозы, заявив, что будет мучить миллион в тысячной степени людей или ещё больше).
Суть в чём? Вероятность «если я не налью этому человеку выпить, сто в сотой степени людей будут мучаться» существовала ещё до того, как этот человек рассказал вам о ней. Эта вероятность существовала всегда. Так же, как всегда существовала вероятность «если я НАЛЬЮ этому человеку выпить, сто в сотой степени людей будут мучаться». Так же, как всегда существовала вероятность «если я подниму сейчас правую руку, вселенная исчезнет». Так же, как всегда существовала вероятность «если я НЕ подниму сейчас правую руку, вселенная исчезнет». Таким образом можно оправдать абсолютно любое действие. Так работают обсессивно-компульсивные расстройства. То, что одинаково сильно поддерживает любую стратегию, на самом деле не поддерживает никакую стратегию. Эти вероятности отменяют друг друга. И тот факт, что мы знаем возможную прагматическую причину слов человека, который просит у нас бесплатную выпивку, делает вероятность того, что его слова правдивы, ниже противоположной вероятности. Та же ситуация с Василиском Роко. Можно представить себе бесконечное число возможных ящериков, принуждающих тебя к чему угодно. Эта дилемма не так опасна, как боялся Юдковски, поскольку люди, не способные раскусить эту головоломку, едва ли способны приблизить создание недружественного искусственного интеллекта. |