Alaric

Заяц

Мдя. Ну ладно, я пишу много букв про МРМ, потому что я от них в диком восторге и вижу в них способ спасти мир (на всякий случай: в каждой шутке есть доля шутки). А эти люди зачем? :)

olva
Мне кажется, что да, знакомство с "МРМ" делает меня счастливее, но по понятным причинам это сложно проверить - я не могу забыть то, что я знаю, и сравнить разницу :)

Насчёт смысла жизни. Нет, потому что "рациональность" --- это всё же инструмент. Впрочем, возможно, она помогает искать смысл жизни.

Детей у меня "в доступе" мало, но скорее да.

olva
Наверное, из людей, которых я знаю лично, наиболее резкий поворот в жизни произошёл у Алисы - автора вот этой статьи (этот вопрос немного в тексте упоминается): https://www.gazeta.ru/science/2016/05/21_a_8253521.shtml Если совсем вкратце, то это девушка из довольно неблагополучной семьи, в детстве ей очень активно промывали мозги христианством, когда она ушла из семьи, она ударилась в эзотерику, а потом увлеклась рациональным мышлением, причём довольно активно. Сейчас у неё огромное количество друзей (причём не только в России), интересная и неплохо оплачиваемая работа... На свой день рождения Алиса каждый год устраивала что-то вроде лектория, на которых её друзья рассказывали интересные штуки из своих областей деятельности. В последние годы там, по-моему, собиралось человек под двести (в этом году в связи с коронавирусом такого лектория не было).

olva

Гм. Кажется, моя очередь побыть скептиком. А за счёт чего вы планируете добиться больших успехов, чем предыдущие поколения? В смысле, кажется, всё вышеперечисленное существует уже всю как минимум письменную историю человечества. Вроде бы с древнейших времён людям рассказывают про моральные принципы и всё такое. И уголовные кодексы существуют как минимум со времён царя Хаммурапи. Ну, разве что массовая школа существует не столько времени, но и то, если брать Европу, то уже тоже довольно давно.

В смысле, неужели гипотетические прототипы Раскольникова не были в курсе про мораль, про религию, про уголовный кодекс своего времени? Те же упомянутые в треде нацисты массово учились в школах, а в школах тогда про религию рассказывали больше нынешнего. Сбросивших бомбу на Японию вроде бы тоже никто не обвинял в том, что они хотели сбросить мораль с корабля современности.

Планируете ли вы что-нибудь сделать лучше? Как?


Здесь я, скорее соглашусь с Shinjitsu. Кажется, исторически зафиксировано огромное количество "психически неустойчивых", которые вершили дела, начитавшись книг, которые в их обществе считались общепризнанным источником морали. Эти книги вас тоже пугают? Больше или меньше?

Обсуждения именно этих вопросов не видел. COVID-19 очень активно обсуждается на LW, но в основном в контексте, как оценить собственные шансы заразиться и как их минимизировать. Я бы сказал, что если вы хотите внести свой вклад в решение упомянутых вопросов, то я бы посоветовал начать с поиска НКО, которые занимаются помощью врачам. После чего анализировать, насколько конкретные НКО достойны доверия, и жертвовать им деньги. Если у вас есть какая-то "специальность", которая может помочь этим НКО, то помогать "по специальности".

Zveird
Я на всякий случай уточню, что вы на самом деле процитировали не Юдковского, а Скотта Александера.

olva

Есть такая проблема, что человеку очень тяжело вспомнить, как он думал до того, как узнал некоторые вещи. Это, например, регулярно можно наблюдать, когда человек говорит "ну, это очевидно" по поводу какого-то знания, которое он достаточно долго изучал в школе или вузе. Поэтому мне сложно объяснить, что именно у меня изменилось, я уже недостаточно хорошо моделирую себя десятилетней давности.

Кроме того, никакой моментальной сверхмощной магии изучение "методов рациональности" не производит. Если человек начинает прикладывать усилия, он становится немного "менее неправым". Шаг за шагом. Один из частых примеров: почти любой человек в сообществе довольно быстро заводит TODO-лист (список задач) и осваивает привычки им правильно пользоваться. Кто-то наверняка может сказать, что это какая-то фигня и/или к рациональности это не имеет никакого отношения, мол, куча менеджеров этим пользуется без всякой рациональности. Возможно. Но огромное количество людей не пользуются TODO-листами и из-за этого регулярно забывают делать то, что они сами хотели бы сделать. Не достигают тех целей, которые сами бы хотели достичь.

Я как-то на эту тему писал небольшую заметку: https://users.livejournal.com/alaric-/564999.html

Главное, что, с моей точки зрения, изменилось в моих мозгах, это то, что я начал чуть чаще задавать вопрос: а как можно лучше? Люди очень склонны оправдывать "статус-кво": объяснять себе и другим, что текущее положение дел - это какое-то "объективно правильное состояние". Возможно, это так и есть, но это совершенно не повод считать, что его нельзя поменять в лучшую сторону.


Строго говоря, рациональность - это два "золотых стандарта". С точки зрения поиска истины, некий агент рационален, если он меняет свои убеждения в строгом соответствии с теорией вероятности (в частности теоремой Байеса). С точки зрения достижения своих целей, агент рационален если он действует в строгом соответствии с математическими принципами теории принятия решений. (Это не Юдковский придумал, это определения из когнитивной психологии. Если интересуют подробности, читайте книги Кейта Становича, например.)

Никакой представитель биологического вида Homo sapiens не в состоянии удовлетворять этим стандартам идеально. У нас слишком ограниченный мозг для этого. Поэтому вопрос в том, как сделать так, чтобы отставать от них не так уж страшно для себя и своих целей.

Поэтому, строго говоря, сами "принципы рациональности" никаких ограничений на цели не накладывают.

Однако есть нюансы.

Нюанс 1.

Те самые математические принципы принятия решений так или иначе связаны с теорией игр. Теория игр же даёт несколько интересных результатов, наиболее известный из которых: дилемма заключённого (описанная в ГПиМРМ). Которая говорит, что при определённых условиях тебе гораздо выгоднее кооперироваться с другим человеком, чем "тянуть одеяло на себя".

Нюанс 2.

Мы тут все люди, и так или иначе какие-то штуки достаточно жёстко защиты у нас в мозгах. Нам почти всем хочется жить хорошо самим, и при этом почти всем не хотелось бы жить посреди людей, которые постоянно страдают. Поэтому даже если сами "методы рациональности" не накладывают каких-то ограничений на "мораль", их накладывает сама человеческая природа.

Да, теоретически вполне возможно появление некоего рационального агента, цели которого будут несовместимы с нашими. Собственно, именно эта идея и привела Юдковского к его занятиям вообще и написанию ГПиМРМ в частности. Но Юдковский не ожидает, что этот агент будет человеком.

Что касается опасения, что некий человек возомнит себя рационалистом и сделает что-то не то... Да, это возможно. Однако тут уже я хочу задать вам вопросы: если вы считаете, что эта опасность достаточно значительна, готовы ли вы что-то с этим делать? Какие средства для снижения этой опасности вы будете считать допустимыми? Как вы сами поймёте, что вы поступаете правильно?

В первую очередь "МРМ" напоминает, что ты можешь их совершить :) Например, напоминает, что "карта не есть территория". Собственно, поскольку рациональный агент - это агент, который обновляет свои убеждения согласно теории вероятностей, то рациональный агент не может быть ни в чём уверен на 100%. Другое дело, что вообще всегда и во всех ситуациях избежать ошибок не может даже идеальный рациональный агент (рациональность не даёт всеведения).

Если же вы спрашиваете о том, сколько времени нужно что-то изучать, перед тем, как принять решение, то, естественно, всё зависит от того, какие могут последствия решения в том или ином случае.

Последние годы в мире разрастается движение Эффективного альтруизма: https://effectivealtruism.ru Оно очень популярно среди участников LessWrong'а. Эти люди как раз занимаются практическим применением МРМ к улучшению мира. Если вас интересует вопрос "как", то неплохая точка входа: https://80000hours.ru (Если владеете английским, то ссылки, соответственно https://www.effectivealtruism.org и https://80000hours.org ).

olva
> Вы, переводчики и поклонники, что вы видите в этих методах? Что они для вас? Интересная книжка почитать? Работа? Поразмыслить над несовершенством человека и тем, как дальше совершенствовать себя?

Если говорить о книге, то, конечно, в первую очередь для меня это интересная книжка. Даже чисто с точки зрения полученного от чтения удовольствия она занимает одно из первых мест среди всего, что я прочитал в жизни.

Во-вторых, для меня это было окно к множеству новых идей. Как и многие "технари", я считал психологию практически "лженаукой". Благодаря ГПиМРМ я узнал о том, что в психологии тоже бывают эксперименты, что из них можно делать выводы и так далее. Далее, благодаря многим книгам, о которых я узнал либо из ГПиМРМ напрямую, либо благодаря сообществу LessWrong (о котором я тоже узнал из ГПиМРМ), у меня появилось множество полезных (как мне кажется) моделей о том, как думаю я сам и как думают другие люди. Возможно, сейчас на этот пласт литературы выйти достаточно просто и благодаря другим источникам, но в 2011 году это было не так.

В-третьих, для меня эта идея о том, как сделать мир лучше. Я считаю, что знания из предыдущего пункта полезны вообще всем, и людям будет проще не наступать на грабли и на чужие ноги, если они с ними будут знакомы.

В-четвёртых, для меня перевод ГПиМРМ - это пока, кажется, самый серьёзный проект в моей жизни. Я понял, что я своими действиями могу относительно сильно влиять на мир, и, кажется, к лучшему. Да и просто приятно видеть, как люди радуются из-за того, к чему ты приложил руку.

В-пятых, если уже дальше уходить от собственно ГПиМРМ как отдельной книги к сообществу и новооткрывшимся пластам идей и знаний, да, это многочисленные идеи для улучшения собственной жизни.

> Вы видите в МРМ прикладное, практическое применение в реальной жизни?

Если брать только эту одну конкретную книгу и рассматривать именно конкретные практики, то скорее нет. Какие-то полезные идеи, впрочем, есть и там (например, я часто повторяю себе "Колебаться всегда легко, но редко полезно"). Но скорее ГПиМРМ - это собрание общих идей. О том, как эти идеи реализовывать на практике, там написано мало.

> На сколько должен быть человек идеальным, непредвзятым, свободным от чувств и политики, от родственных уз, чтобы сформировать истинное убеждение? Сколько нужно думать и взвешивать свое убеждение, чтобы прийти к выводу, что оно на самом деле истинное? Как измеряется истинность? По какой шкале? У каждого человека истина будет своя, как решить чья истина - истиннее?

Начну с конца. А зачем вам это решать? :) Ну, то есть, я понимаю, что мы в интернете, тут все меряются "истиной", но зачем это лично вам? Что вам мешает просто сказать (пусть мысленно): да пофиг мне, что думают другие люди, у меня и так уже есть своя истина?

У каждого из нас есть свои цели. Кто-то хочет поступить в университет. Кто-то хочет найти хорошую работу. Кто-то хочет найти лекарство от рака. Кто-то хочет сделать жизнь в своём городе или стране или во всём мире приятней. Кто-то хочет, чтобы человечество не исчезло в результате какой-нибудь глобальной катастрофы. И так далее. Однако невозможно достичь своей цели, если ты не знаешь, как устроен мир, по крайней мере "вокруг" твоей цели. Чем масштабнее цель, тем больше нужно знать.

И если ты пытаешься достигать своих целей, то ты так или иначе проверяешь свои убеждения на прочность. Какие-то отбрасываются, какие-то остаются.

С моей точки зрения, "у каждого своя истина" лишь в тех областях, где у людей либо нет никакой цели, либо они не верят, что они могут что-то сделать для её достижения.

Истинное убеждение - не самоцель. (Во всяком случае, для меня, я встречал множество людей, которые считали иначе. Бывает, впрочем, искреннее любопытство: иногда человек просто хочет знать, как по настоящему что-то устроено.) У каждого из нас есть какие-то свои цели. Если принимать решения наобум, скорее всего, что-то пойдёт не так. Но если ничего не делать, пока не принял "идеального решения", скорее всего, тоже своих целей не достигнешь.

Ну и поскольку истинность убеждения проверяется исключительно проверкой этого убеждения на практике, никакой особой идеальности, непредвзятости, свободности от чего бы то ни было, для этого не нужно. Конечно, в состоянии особо сильных эмоций люди часто рассуждают не очень здраво, и иногда наши пристрастия подталкивают нас к неверным решениям, но это не слишком важные и частые проблемы. Противоположность рациональности и эмоций - это вообще навязший культурный штамп, тот же Юдковский очень активно против него возражает. (Например: https://lesswrong.ru/w/Мне_сегодня_рационально )

Shinjitsu
Мне представляется, что когда человек пишет, что ответ очевиден, то обычно он считает ответ однозначно верным (ну или хотя бы делает вид). Ну и исходя из того, что Юдковский очень уж активно ратует за "заткнись и умножай", я очень удивлюсь, если выяснится, что он просто делал вид.

Чиорт
А чтобы рассуждать о намерениях людей, с вашей точки зрения, нужен доступ к содержанию их черепов? А как с этим сочетается ваша фраза "Людям плевать на страдания других, и не плевать только на те страдания которые имеют эмоциональную привязку к ним лично"? Это не рассуждение о содержимом черепов упомянутых людей?

Чиорт
Гм. А как, с вашей точки зрения, Юдковский обосновывает для себя полезность своего рассуждения о пылинках и пытках для взаимовыгодного сотрудничества?

Ведь, кажется, наоборот, часть людей (мы это можем даже видеть в треде выше) такие рассуждения наоборот отпугнут. Множество людей наоборот скажут, что пытать ни в каком случае никого нельзя. И Юдковский точно в курсе существования таких людей. Как вы считаете, почему он всё равно пишет такие провокационные для них вещи?

Заяц
А что вы подразумеваете под универсальным, независим от человека и воспроизводимым эталоном? Например, какие сущности в области психологии (Ариели, как я уже упомянул, психолог) удовлетворяют этому критерию?

Заяц
Я не согласен, что это неизмеримая величина и что тут нет эталона. Например, достаточно известный психолог Дэн Ариели в своей книге как раз упоминал, что занимался экспериментами в области переживания боли. И про него нельзя сказать, что он не ощущал это на себе, как он сам пишет, его интерес к этой теме вызван тем, что в юности он перенёс ожоги третьей степени значительной части тела и у него во время лечения были регулярные споры с медперсоналом, что болезненно, а что не очень.

Ну и понятно, что при достаточно высоком уровне развития техники страдания можно будет измерять как уровень возбуждения соответствующих нейронов, наличия соответствующих веществ в крови и так далее.

Если говорить о каких-то долгосрочных последствиях, то могут также появляться метрики "насколько у человека снизилась производительность/качество жизни/что-то ещё". Насколько я понимаю, этими метриками даже пользуются в этом мире.

Я опять же не согласен. Я считаю, что я вполне вправе предсказать результат гипотетического эксперимента. Вы можете посчитать, что моя оценка неверна, и назвать свою. Поскольку обе наши оценки так или иначе вызваны нашим представлением о мире, после этого при наличии желания мы можем попытаться разобраться, что именно в наших представлениях о мире различается и приводит к разной оценке. Вполне возможно, что эту разницу будет проще проверить.

Проблема в том, что иногда решения нужно принимать. Допустим, этой весной во время пандемии в той же Италии врачи были вынуждены принимать решения о том, кого лечить, а кого не лечить, потому что всех лечить у них не хватало ресурсов. И, насколько я понимаю, эти решения не оставлялись полностью на совесть конкретного врача, а были регламентированы "должностной инструкцией". И можно, конечно, сказать, что авторы этой инструкции не умирали, страшно задыхаясь, а иначе бы написали в этой инструкции что-то другое. Однако все такие инструкции пишутся, исходя из соответствующих математических принципов, которые применяются именно потому, что люди в целом считают, что результаты применения таких принципов лучше, чем применение каких-то других. Пусть даже отдельным людям, которые попали в жернова этих принципов, от этого ничуть не легче.

Заяц
Я думаю, что Юдковский знает, что упомянутое число гораздо больше всего населения Земли и это часть мысленного эксперимента (например, вообразим, что речь идёт о далёком будущем, когда человечество расселилось по галактике и его стало гораздо больше).

Что плохого в увлечённости цифрами, мне непонятно. В своей правоте в той или иной степени уверен, по-моему, практически каждый, кто пишет в интернете :) Предполагаю, что Юдковского по вопросу, где он ошибается, переубедить проще, чем 99% человечества.

Что касается отсутствия эмпатии, то эта часть мне интересна. Лишены ли эмпатии те люди, которые ставят вопросы про "проблему вагонетки", например? Чем мысленный эксперимент Юдковского отличается?

Читали ли вы https://lesswrong.ru/w/ЧаВо_о_консеквенциализме ? (Это уже не Юдковский, а Скотт Александер).

EnGhost
Поскольку конкретно эта дискуссия идёт у меня в блоге, то я отвечу, что, во-первых, мне спустя девять лет после первого знакомства уже не так интересно обсуждать собственно текст (в конце концов, я его и так знаю очень хорошо, я его всё-таки переводил и немного участвовал в составлении комментариев к русскоязычному изданию). Во-вторых, я всегда плохо понимал литературоведение как идею и пока ещё не дошёл до стадии "попробовать поразвиваться ещё и в этой области". Впрочем, наличие, например, критического обзора на МРМ в литературном журнале с 95-летней историей для меня всё же свидетельство, что с литературной точки зрения там не всё так плохо :)

Ну и поскольку эта книга написана в изрядной степени, чтобы подтолкнуть людей к изучению мира, мне представляется, что вполне нормально, что она подталкивает людей задавать вопросы не о себе самой, а о чём-то ещё. В конце концов, как я понимаю, даже литературоведы изучают тексты не просто ради изучения текстов, а ради выведения каких-то закономерностей и принципов.

olva
Я предположу, что если вы хотите узнать, что на самом деле хотел сказать автор, то проще не строить теорий, а просто почитать другие его статьи. В конце концов, Юдковский вообще очень много чего писал в интернете.

Ещё на эту тему мне достаточно сильно понравилась книга Tom Chivers, "AI does not hate you", автор там довольно активно изучал интернет-биографию Юдковского с подросткового возраста. Но на русский она, насколько я представляю, пока не переводилась.

Заяц
Мне скорее хотелось понять вашу мысль, и я задал уточняющий вопрос. В смысле, для меня как раз после МРМ (и знакомства с LW) стал вполне нормальным вопрос, зачем я делаю то, что делаю и всё такое. И для меня вопрос о том, а как именно МРМ влияет на мир - нормальный и естественный.

Однако проблема дискуссий в интернете в том, что можно, конечно написать, мол, а на меня МРМ повлияло так-то и так-то, а оппонент после этого тебе: а, это всё фигня, настоящее влияние это "...". Поэтому я обычно стараюсь сначала уточнить критерии.

Заяц
А что вы засчитываете за изменение мира? Примерная минимальная граница какая?

Desmоnd
Спасибо за поднятие интереса к МРМ :)

Fluxius Secundus
Интересно, спасибо. Кажется, он действительно въехал в проблематику вопроса сильнее многих. (Хотя, конечно, его рассуждения о долгосрочных планах у меня вызывают улыбку.)

Однако я бы предположил, что Юдковский сказал бы, что аналитическая философия действительно помогла сформулировать проблему соответствия (он, кстати, в Цепочках упоминает много людей, которые в упомянуты в англовики в статье про аналитическую философию), но за исключением этого вряд ли помогает её решить, потому что решение у этой задачи должно быть чисто техническое. В смысле, начиная с какого-то этапа чисто словесные абстрактные рассуждения перестают работать, нужно переходить к формализмам, про которые можно проверять, верно это или не верно.

Fluxius Secundus
А можно хотя бы примерно рассказать, каким образом она работает?