olva

Есть такая проблема, что человеку очень тяжело вспомнить, как он думал до того, как узнал некоторые вещи. Это, например, регулярно можно наблюдать, когда человек говорит "ну, это очевидно" по поводу какого-то знания, которое он достаточно долго изучал в школе или вузе. Поэтому мне сложно объяснить, что именно у меня изменилось, я уже недостаточно хорошо моделирую себя десятилетней давности.

Кроме того, никакой моментальной сверхмощной магии изучение "методов рациональности" не производит. Если человек начинает прикладывать усилия, он становится немного "менее неправым". Шаг за шагом. Один из частых примеров: почти любой человек в сообществе довольно быстро заводит TODO-лист (список задач) и осваивает привычки им правильно пользоваться. Кто-то наверняка может сказать, что это какая-то фигня и/или к рациональности это не имеет никакого отношения, мол, куча менеджеров этим пользуется без всякой рациональности. Возможно. Но огромное количество людей не пользуются TODO-листами и из-за этого регулярно забывают делать то, что они сами хотели бы сделать. Не достигают тех целей, которые сами бы хотели достичь.

Я как-то на эту тему писал небольшую заметку: https://users.livejournal.com/alaric-/564999.html

Главное, что, с моей точки зрения, изменилось в моих мозгах, это то, что я начал чуть чаще задавать вопрос: а как можно лучше? Люди очень склонны оправдывать "статус-кво": объяснять себе и другим, что текущее положение дел - это какое-то "объективно правильное состояние". Возможно, это так и есть, но это совершенно не повод считать, что его нельзя поменять в лучшую сторону.


Строго говоря, рациональность - это два "золотых стандарта". С точки зрения поиска истины, некий агент рационален, если он меняет свои убеждения в строгом соответствии с теорией вероятности (в частности теоремой Байеса). С точки зрения достижения своих целей, агент рационален если он действует в строгом соответствии с математическими принципами теории принятия решений. (Это не Юдковский придумал, это определения из когнитивной психологии. Если интересуют подробности, читайте книги Кейта Становича, например.)

Никакой представитель биологического вида Homo sapiens не в состоянии удовлетворять этим стандартам идеально. У нас слишком ограниченный мозг для этого. Поэтому вопрос в том, как сделать так, чтобы отставать от них не так уж страшно для себя и своих целей.

Поэтому, строго говоря, сами "принципы рациональности" никаких ограничений на цели не накладывают.

Однако есть нюансы.

Нюанс 1.

Те самые математические принципы принятия решений так или иначе связаны с теорией игр. Теория игр же даёт несколько интересных результатов, наиболее известный из которых: дилемма заключённого (описанная в ГПиМРМ). Которая говорит, что при определённых условиях тебе гораздо выгоднее кооперироваться с другим человеком, чем "тянуть одеяло на себя".

Нюанс 2.

Мы тут все люди, и так или иначе какие-то штуки достаточно жёстко защиты у нас в мозгах. Нам почти всем хочется жить хорошо самим, и при этом почти всем не хотелось бы жить посреди людей, которые постоянно страдают. Поэтому даже если сами "методы рациональности" не накладывают каких-то ограничений на "мораль", их накладывает сама человеческая природа.

Да, теоретически вполне возможно появление некоего рационального агента, цели которого будут несовместимы с нашими. Собственно, именно эта идея и привела Юдковского к его занятиям вообще и написанию ГПиМРМ в частности. Но Юдковский не ожидает, что этот агент будет человеком.

Что касается опасения, что некий человек возомнит себя рационалистом и сделает что-то не то... Да, это возможно. Однако тут уже я хочу задать вам вопросы: если вы считаете, что эта опасность достаточно значительна, готовы ли вы что-то с этим делать? Какие средства для снижения этой опасности вы будете считать допустимыми? Как вы сами поймёте, что вы поступаете правильно?

В первую очередь "МРМ" напоминает, что ты можешь их совершить :) Например, напоминает, что "карта не есть территория". Собственно, поскольку рациональный агент - это агент, который обновляет свои убеждения согласно теории вероятностей, то рациональный агент не может быть ни в чём уверен на 100%. Другое дело, что вообще всегда и во всех ситуациях избежать ошибок не может даже идеальный рациональный агент (рациональность не даёт всеведения).

Если же вы спрашиваете о том, сколько времени нужно что-то изучать, перед тем, как принять решение, то, естественно, всё зависит от того, какие могут последствия решения в том или ином случае.

Последние годы в мире разрастается движение Эффективного альтруизма: https://effectivealtruism.ru Оно очень популярно среди участников LessWrong'а. Эти люди как раз занимаются практическим применением МРМ к улучшению мира. Если вас интересует вопрос "как", то неплохая точка входа: https://80000hours.ru (Если владеете английским, то ссылки, соответственно https://www.effectivealtruism.org и https://80000hours.org ).