Один из условно «взрослых» трансгуманистических страхов — это не опасение быть переработанным в серую слизь, не страх, что ИИ переработает тебя на скрепки и даже не боязнь умереть от старости за пару дней до изобретения общедоступного и дешёвого эликсира молодости.
Это — мысль, что в споре морального абсолютизма и морального релятивизма абсолютисты могут оказаться в некотором смысле правы.
Нет, не в том смысле, что существует какая-то Абсолютная Наивысшая Мораль. А в том смысле, что существуют некие — наиболее практичные для абсолютного большинства случаев — базовые ценности. Ну, подобно тому, как специалисты по теории ИИ говорят о том, что некий набор ценностей с высокой вероятностью будет важен для почти любого ИИ.
И я боюсь, что эти псевдоабсолютные ценности могут оказаться ужасным душниловом.
Логическая цепочка:
1) выживание необходимо для достижения почти любых целей;
2) приоритетным должно быть выживание, всё остальное по остаточному принципу;
3) если что-то снижает вероятность твоей смерти на 0,0001%, оно должно быть выбрано, даже если при этом уменьшает твои удовольствия на 98%;
4) жизнь превращается в монастырь, гроб и Израиль;
5) ты делаешь из себя робота, чтобы не думать об этом и не страдать от этого.
Лол, это очень грустный сценарий.
Но я понимаю, конечно, что с точки зрения не мающегося гедонистическими загонами субъекта (субъекта?) наши «удовольствия» суть бессмысленные кружки положительных обратных связей. С другой стороны, а что не таково вообще?