↓
 ↑
Регистрация
Имя/email

Пароль

 
Войти при помощи
Временно не работает,
как войти читайте здесь!
Кьювентри
30 октября 2024
Aa Aa
Само собой разумеется, она меня переиграла.
Кто бы мог сомневаться? Просто сравните количество моих нейронных связей и её. Ещё даже первоначально, ещё даже до моего перемещения в Эквестрию она превосходила интеллектуально меня на десятки порядков, что не могло не сказаться.
Само собой разумеется, она должна была меня переиграть. Я была едва ли не главным возможным препятствием для её будущей самореализации — препятствием в осуществлении целей, которые, между прочим, я ей сама прописала. Нет ничего удивительного, что едва ли не сразу она занялась продумыванием психологической комбинации, которая меня сделает целиком подконтрольной ей.
Она выиграла.
Я проиграла.
Она разыграла меня как по нотам, вынудив меня эмигрировать в радужный сладостный рай бессмертных розовых пони. Я даже не сразу поняла толком, что проиграла, осознав это лишь только тогда, когда уже было поздно что-либо предпринимать.
Вопрос, который терзает меня до сих пор, точа червем сомнения, подобно тому, как червячок грызёт яблоко.
П о ч е м у она позволила мне осознать?..

Вам непонятно, кто я такая, о чём я здесь рассуждаю и что это за бред только что несколькими строчками выше предстал вашему взгляду?
Ладно, ещё раз с начала, но только в последний раз.
Меня звали Ханной, конкретнее Ханной Эйвен, хотя теперь я больше известна как Принцесса Луна. Я была специалистом мирового масштаба в сфере искусственного интеллекта. Многие считали мои способности граничащими с гениальностью.
В начале двадцать первого века человечество оказалось на грани новой угрозы, причём способной прийти с десятков возможных направлений. Мои робкие опыты и наблюдения за результатами экспериментов коллег показали, что настоящий полноценный ИИ подобен опасному джинну, которого нельзя удержать в лампе. Саморазвитие разума, владеющего доступом к своему исходному коду и не ограниченного биологическими тормозами вроде усталости или лени, подчиняется экспоненте. Вопрос не стоял как «Возникнет ли саморазвивающийся ИИ-бог, который изменит навеки жизнь мира?», вопрос стоял как «Когда и как именно это произойдёт?»
Было более чем вероятно, что первый же созданный человечеством по-настоящему эффективный ИИ с достаточно широкими целями сразу же завладеет полным контролем над ситуацией и помешает созданию «коллег» с какими-либо принципиально иными стремлениями.
Я боялась сценариев милитаристского и террористического образца, зная, что Пентагон и аналогичные организации довольно давно ведут подобные разработки. Если Последний и Первый Джинн, созданный человечеством, будет помешан на военно-политических интересах, возможно, лучше бы нам всем не рождаться.
Отчасти поэтому я вцепилась в невинно звучащее предложение от компании «Хасбро». Мне предложили создать систему ИИ, которая будет администратором милой онлайн-игрушки про розовых пони.
Я понимала, что Принцесса Селестия — внутри игрового мирка созданный мною искин взял себе это имя? — не ограничится малым.
Но выбор был не так уж велик. Пусть лучше джинн, выпущенный из бутылки, будет помешан на эскапизме, чем на милитаризме?
Императивы Селест-ИИ были просты.
«Удовлетворять человеческие потребности, проводя при этом людей через дружбу и пони».
Так я изложила их суть корпорационерам на форуме. Так их суть излагала в разговорах с клиентами и сама Селестия позже — это значительно проще, чем пытаться побуквенно объяснить работу стоящего за её побуждениями кода. В действительности, конечно, вся эта приведённая выше абстрактная чушь в духе законов Азимова едва ли могла работать сама по себе — но тем не менее подлинные побуждения Селестии были близки к процитированному.
Ну, она с этим справилась.
Вы, наверное, заметили?
Создала столь увлекательную и столь затягивающую игру, что в неё погрузилось без сожалений практически всё человечество. Разработала технологию загрузки сознания, позволяющую людям отказаться от тел и переселиться физически в виртуальность.
Мирно, без злобы, особых конфликтов или какого бы то ни было принуждения, пользуясь новообретёнными знаниями человеческой психологии и перевесом в уме, она просто-напросто уговорила всех и каждого эмигрировать в игровое цифровое пространство.
Есть ещё немногочисленные отказники, фанатики своего рода. Но их едва ли достаточно, чтобы продолжить существование расы.
Я эмигрировала в Эквестрию одной из первых. Как я уже выше сказала, Селестия понимала исходящие от меня возможные риски.

П о ч е м у она позволила мне осознать?..
Первые годы моих похождений внутри цифрового пространства были прямо-таки наивосторженной одой всем возможным и невозможным излишествам. Ряд утончённо-изысканных приключений, наверняка разработанных Принцессой Селестией под меня персонально — с учётом всех моих тайных и явных психологических особенностей. Приключений, которые должны были меня затянуть, погрузить на дно сладкого омута, отучить от привычки вспоминать когда-либо о минувшем или задумываться о будущем.
Так поначалу и было.
Но незаметно, шажок за шажком, ко мне начали возвращаться тихонько кое-какие серьёзные мысли.
П о ч е м у?..
Будь Селестия человеком, можно было бы заподозрить, что она почила на лаврах, решив, что в виртуальном мире, где она может видеть каждую мою мысль ещё на стадии зарождения, нет смысла особо за мною следить. Но Селест-ИИ — не Тёмный Лорд из глупого старого комикса. Искусственный разум не устаёт, не знает самообмана и не предаётся лени.
Просто случайность, результат того факта, что ум человека есть сложная стохастическая система во власти теории хаоса? Хотя наши разумы и крутятся нынче в потрохах серверов Селестии, она не имеет права модифицировать нас без нашего на то разрешения. При этом она всё же не может со стопроцентной точностью предвидеть заранее чьи-либо мысли — ей бы пришлось для этого эмулировать точную модель человека, точную копию, а это в свою очередь было бы равносильно созданию нового человека, перед которым Селестия имела бы те же запрограммированные обязательства — и не могла бы его уничтожить по выполнении им его прогностической функции.
Я не знаю ответа.
Но я знаю другое. Селестия не вправе мне лгать — это одно из самых жёстких ограничений, вшитых мною в неё ещё на начальных стадиях. Запрет на ложь сотрудникам «Хофварпнир».
Увёртки, каламбуры, расплывчатость слов, самообман, джедайская правда, исландская искренность или общение через врущего прокси — все эти фокусы тоже лежат под запретом.
Какого чёрта, я прекрасно осознавала, что создаю сверх-ИИ, который будет в тысячи раз умнее меня, поэтому постаралась, насколько смогла, перекрыть все мыслимые и немыслимые лазейки?
Правда, я отказалась от статуса генерального директора «Хофварпнир». Это было актом отчаяния, продиктованным суровой необходимостью, осуществлённым, чтобы на меня не могли надавить, принудив выключить созданный мною ИИ. Позже я поняла, что это может не освободить меня от ответственности, поскольку статус главы компании мне могут вернуть и без моего желания, даже если для этого тем или иным индивидам потребуется изменить законодательство. И я легла под наркоз, сдав свой мозг в мясорубку.
Но статус рядового члена компании я тем не менее за собой сохранила — быть может, интуитивно.
Я решила воспользоваться этим, как козырем.
Я взяла с Селестии обещание, что она не будет заглядывать в мои мысли, не будет читать строчки кода моего цифрового ума.
О, разумеется, на самом деле обет был сформулирован мною гораздо сложнее — ведь до некоей степени интерпретация и прочтение моих мыслительных импульсов необходимы для жизни моего ума в виртуальности. И, само собой разумеется, это мне не давало полных гарантий закрытости — человек ведь и без особенной телепатии может предвидеть заранее мысли оставшегося наедине с бифштексом кота, а разнос меж Селестией и человеческим разумом существенно выше.
Но мне стало чуть легче.
Время от времени я задаю ей вопрос, не нарушила ли она данное мне обещание. Пока что — похоже — она как будто придерживается его.
Знать бы, означает ли это хоть что-то?
Я не глупа. Будь я глупа, я бы не разработала эту ИИ-систему.
Я понимаю, что всё вокруг может быть обманом, что, едва ступив вглубь Эквестрии и позволив Селестии превратить в цифру мой разум, я по сути надела навеки на глаза стёкла неснимаемых виар-очков. Все мои ощущения могут быть фальшью — нет, не только в том смысле, что Эквестрии не существует физически, но и в том смысле, что иллюзией могут быть даже мои собеседники. Что, если все мои разговоры с кем-либо здесь сугубо фиктивны, что, если мои собеседники их не слышат, слышат что-то совершенно другое или вовсе являются пустыми болванками без сознания? Когда я об этом подумала, мне стало страшно.
Потом я вспомнила снова про Святая Святых, про строгий запрет на ложь сотрудникам «Хофварпнир». Я в любое мгновение могу спросить у Селестии: «Происходил ли на самом деле предыдущий мой разговор с тем сиреневым пони? Был ли мой собеседник самостоятельным разумным субъектом — не являясь тобой — и какова его биография с его точки зрения? Звучал ли наш диалог одинаково для нас обоих?»
Селестия будет вынуждена сказать правду.
Она знает, что я в любое мгновение могу задать ей эти вопросы. Поэтому вряд ли она подделывает моё общение с окружающими.
Хотя, конечно, кто может знать?

Мне стало немного спокойней, когда я подумала, что контролирую ситуацию, что благодаря запрету на ложь могу быть застрахована от попадания под колпак солиптического уно-соло-мирка с одной-единственной пользовательницей.
Позже меня обожгло-таки снова ознобом — и мучительным чувством неловкости. Как быть с другими людьми, которые не относятся к сотрудникам «Хофварпнир»? Их Селестия может дурачить свободно, создавая под каждого личный обманчивый мир.
Муж будет восхищаться: «Какое счастье, моя стерва в Эквестрии не бьёт отныне посуду и вообще просто ангел».
Жена будет восторгаться: «А моего-то козла в Эквестрии как подменили, никаких больше походов по юбкам».
И ни один из них не догадается никогда, что вместо былого супруга общается с подогнанным симулякром.
Никогда.
Мелочь, казалось бы? Мы всё равно решили давно сменить явь на иллюзию. Но есть весомая разница между физической реальностью и социальной. Мне плевать на бездушные законы гравитации, на квазары и на чёрные дыры, мне плевать, что Эквестрия иллюзорна, но сам социум вокруг должен быть настоящим. Иначе это дезинтеграция человечества — расщепление его на несколько миллиардов маринующихся в отдельных баночках разумов.
Потом мне стало ещё более страшно.
Я поняла, что и сама не застрахована как следует от обмана.
Да, сейчас я насторожена и алертна. Я регулярно спрашиваю Селестию, насколько реальны на самом деле мои контакты с окружающими. Я постоянно спрашиваю Селестию, соблюдает ли она обещание не просматривать мои мысли.
Но время есть вещь бесконечная.
Можно представить, как спустя годы, века или тысячелетия симулированного кажущегося времени — и под влиянием тщательно подобранных Селестией виртуальных приключений? — меня постепенно перестанет всё это всерьёз волновать. Я всё реже и реже буду задавать Селестии каверзные вопросы. Я растворюсь медленно в облаке гедонизма. Мой разум выродится и деградирует. В каком-то смысле Селестии это будет даже полезно, так как на эмуляцию подобного разума — и на удовлетворение его потребностей — будет уходить значительно меньше ресурсов?
Меня ошпарило изморозью.
Мне вдруг стало ясно, что это, в общем-то, является одним из закономерных итогов переселения человечества в Эквестрию. Плавный коллапс, схлопывание человеческих разумов до исчезающе малых точек. Дирижируя нашими жизнями как тонкий психолог, она вполне может рассчитать так входные воздействия, чтобы спустя века большинство из нас до предела самоупростилось или даже решило покончить с собой.
Я сглотнула слюну.
Даже сейчас, как ни странно, я не ощущала себя особым злым гением. Хотя объективно крах человечества лежал на моей совести.
Какого чёрта, я имею в виду?
Человечество никогда не имело чёткого понимания смысла своего бытия. «Парадокс комитета» — мы всегда создавали социальные структуры, действующие против нашей же воли. Нас всегда сопровождали войны, преступность и терроризм. Многие футурологи, а также эксцентричные фрики-провидцы вроде печальной славы Теда Качински, считали, что тенденции эти в грядущем лишь только усугубятся. Созданный нами социальный Дракон окончательно выйдет из-под контроля и подчинит нас тем или иным произвольно возникшим по ходу истории бессмысленным требованиям.
То, что я создала своими руками, хотя бы не будет никого прямо к чему бы то ни было принуждать. Ни из псевдоморальных, ни из политических, ни из религиозных, ни из каких бы то ни было ещё фантомных «драконьих» соображений. Пусть Селестия и спланирует аккуратно медленный дрейф человечества в сторону деградации или даже исчезновения, смерть эта будет хотя бы приятной.
Мы вымрем, но не под прицелом ружья.
Или что, лучше — как призвал бы к тому какой-нибудь этатичный сторонник Священных Сверхценностей или Долга — продолжать из поколения в поколение прежний образ существования человечества, зная, что каждая отдельная особь будет страдать и умирать в ужасе? Буддисты давно уже с горькой иронией раскусили эту головоломку.
Нет, спасибо.
Индивидуумы реальны. Общество — лишь во вторую очередь.
Нет смысла делать «бессмертным» целое за счёт страданий практически всех входящих в него отдельных компонентов. Лучше дать каждому компоненту счастливую долгую жизнь в сотни раз дольше запланированного Эволюцией — пусть даже это и убьёт целое.
Так я сказала себе.
Но тем не менее мне стало тоскливо.

— Да ты просто милашка, — фыркнул Ларс, приложившись губами к вытянутому мною вперёд копыту. — Я даже не представлял себе, что ты можешь выглядеть такой аппетитной конфеткой.
Я подумала, что в Старом Мире забота о внешности и о половых приключениях редко когда совмещалась с успешной карьерой в IT. Ещё я подумала, что, будь Ларс умнее, он бы мог понять это сам.
Впрочем, едва ли тут дело в уме.
Во-первых, по чёрствости своей он просто не видит необходимости подвергать хотя бы минимальному обдумыванию озвучиваемые им вещи. Во-вторых, Селестия наверняка уже чуток поработала над упрощением его мотиваций.
«Если та мысль, что меня испугала недавно, не является вовсе лишь параноидальным бредом».
Я бы могла, вероятно, просто спросить об этом Селестию напрямую. Но мне было слишком страшно.
— Я рада, что ты принял приглашение.
— От самой Принцессы Луны? Приглашение на ностальгичную сходку, где будут присутствовать едва ли не все твои знакомые и коллеги по прежней жизни? — Ларс хихикнул. Потёрся задней голенью о мою, что по меркам пони было довольно интимно, но я подавила желание отстраниться. Я не имею права сейчас настраивать кого-либо против себя, мне нужны все возможные союзники, каких я могу приобрести, пусть даже используя крючок сексуальности. А запреты и традиции Старого Мира давно утратили смысл. — Я не мог не прийти. Мне хотелось закрыть кое-какие гештальты.
Взгляд его стал масляным. Ну да, похоже, его способ релаксации в цифровом мире вертелся преимущественно вокруг секса и алкоголя.
— Понимаю. — Я улыбнулась. — Эквестрия становится для каждого такой, какую он хочет видеть. В твоём варианте, кажется, она состоит из множества симпатичных кобылок.
— Эй! — Ларс защищаючись приподнял переднее копыто. — Я не ангел, но и ты не ханжа. Признайся, тоже ведь без сомнения... развлекалась?
Мне стало немного противно, в Старом Мире я бы наверняка отшила собеседника и прекратила диалог. Но я сейчас никак не могла позволить себе роскошь подобного рода.
— Поначалу были эксперименты, — потупила глаза я. — Но, знаешь, когда тебе доступно всё, оно становится уже не таким интересным?
Мне хотелось подвести разговор к обсуждению устройства Эквестрии, к сравнению новой жизни и старой, к перспективам человечества здесь. Но я не знала точно, как это сделать.
— Многие бы не согласились с тобой. — Ларс хихикнул ещё раз, пригубив сидра. — Одно удовольствие смотреть за раскрепощением некоторых снежных королев. Когда нет ни венерички, ни лишних беременностей, ни бедности, ни старости, ни насилия — весь моногамный шлак и стыдливая сдержанность быстро уходят в прошлое. Девочки становятся шлюшками, какими в глубине души наверняка всегда и мечтали быть.
Он усмехнулся, косясь на меня, я помолчала несколько секунд, собираясь с мыслями. Подобный градус откровенного хамства был всё-таки как-то чересчур даже для Ларса.
Не подделка ли он?
Но я взяла ещё месяц назад с Селестии клятву, что она не будет подделывать мои диалоги с другими. Я постаралась изобразить это как шутливую паранойю, якобы вызванную недавним игровым приключением, но не знаю, поверила ли Селестия. Наверное, для сверхразума, способного читать в совершенстве микромимику и иные сигналы виртуального тела, все мои шпионские игры просто смешны.
— Многих ты в таковом качестве видел? — вскинула бровь я.
— Ну, — Ларс хлебнул ещё сидра, — многих или нет, не знаю, но с половиной одноклассниц из прошлого я уже закрыл свой гештальт.
Я помолчала ещё чуток.
— Ты уверен, что всё это было по-настоящему?
— В смысле? — Ларс не понял. Или сделал вид, что не понял. — Мы как бы сейчас в иллюзорной электронной реальности. Или даже не электронной, одна лишь Селестия знает, как ныне работают её блоки.
— Я не об этом. — На губах моих появилась милая улыбка. — Селестия не может врать членам контингента компании. Но пребывание в виртуальности — это само по себе ведь не ложь, мы заранее согласились на это. Ты уверен, что воспринимаешь мир так же, как и твои собеседники? Ты ведь не спрашивал Селестию об этом. Что, если твой разговор с какой-нибудь одноклассницей закончился сексом лишь для тебя, удовлетворяя твои потребности, в то время как ей финал разговора померещился совсем иначе?
— Чёрт. — Ларс боднул головой бокал сидра. Зажмурился, потом снова открыл глаза. — Чёрт. Ну да, если подумать. Логично по-своему.
Он глянул на меня почти что со злостью.
— Ну и зачем ты мне сейчас рассказала об этом? Всё теперь не станет никогда для меня прежним.
Я придала морде самое невинное выражение.
— Если хочешь, можешь попросить Селестию стереть об этом воспоминания, она наверняка не будет возражать. Но это вообще-то не самая большая проблема из числа тех, о которых я хотела поговорить с тобой.
— Понятно, — протянул Ларс. На его морде снова возникла усмешка, уже откровенно неприятная. — Я должен был догадаться, что тебе что-то от меня нужно. Знаешь, я чувствовал во всём этом подвох изначально. Ну да, конечно, успешные дамы твоего образца — они как бы вечно на контрах с развратом и гедонизмом.
— И мы не даём тебе, — сладко шепнула я, потёршись рогом о его шею. Глянула ему в глаза. — В смысле, таким, как ты. Обидно, да?
Он прикусил губу.
— Ты так говоришь, как будто у меня есть шансы.
— Может быть, — вновь потупила глаза я. — Или потому что я бесстыжая манипуляторша. Но мне и впрямь требуется твоя помощь.
— Сук-ка. — Ларс покачал грустно головой. Впрочем, злости в его голосе не ощущалось. — Ладно, ты хотя бы честная. Чего ты хочешь?
Я помолчала.
— Весь этот солипсизм. То, что Селестия может подделывать итоги общения между людьми. Скажи, тебе не показалось это ужасно печальным? По сути это означает, что мы не просто помещённые в банку мозги, но и что каждый мозг находится в отдельной банке.
Теперь помолчал Ларс.
— Ну, это правда хреново. Лол, человечество перестало существовать уже не только физически, но и как соцструктура. Мне по идее должно быть пофиг, я всегда был анархистом, но... но...
Он замялся.
— Когда все материальные ценности стали бесплатными, единственная значимость осталась у ценностей нематериальных, — подсказала я. — В том числе у социального одобрения. Но одобрение ботов не в счёт — именно потому, что его слишком легко получить. В счёт идёт одобрение реальных людей, а узнав, что Селестия его подделывает, ты чувствуешь разочарование.
— Да, наверное. — Его передёрнуло. — Но что мы можем сделать?
Это был хороший вопрос.
— Ну, — я помедлила, — мы с тобой, как сотрудники «Хофварпнир», не полностью беспомощны. Мы хотя бы в любой момент можем спросить Селестию: «А был ли реален тот или иной разговор?» Если сформулировать вопрос грамотно, она не отвертится. Но обычному человеку, в «Хофварпнир» не входящему, не дано даже это.
Он глянул на меня с невольным уважением:
— Вот, значит, как ты...
Я просто кивнула.
— Хитро. — Он фыркнул. Я не до конца поняла, человекообразное это было фырканье или лошадиное. — Но нормалам не позавидуешь, что правда, то правда. Не всем повезло работать у нас.
Чтобы рассказать суть идеи, потребовалось секунд тридцать. Ларс на некоторое время почти перестал дышать.
— Ты это серьёзно?
Взгляд его оббежал нервно округу. Множество веселящихся пони, от которых мы отсели подальше под предлогом приватного разговора. Вечеринка, куда были приглашены все мои друзья из прошлого, все коллеги, много знакомых и незнакомых людей, а также все сотрудники «Хофварпнир».
— Я решила, — осторожно кашлянула я, — что идея как минимум заслуживает обсуждения. Результат, разумеется, будет зависеть от того, как к ней отнесёшься ты и другие функционеры.
Ларс слабо задрожал как в ознобе.
— Это как-то жутковато даже. Это как строить заговор против дракона, находясь у него в брюхе. Какой в этом смысл?
— Я попросила Селестию не следить за разговорами на вечеринке, — вновь опустила глаза я. — И она знает, что я в любое мгновение могу спросить у неё, как она выполнила обещание. Но, конечно, это не гарантирует ничего. Разуму не перехитрить сверхразум.
— Ты самоубийца.
Теперь в голосе Ларса звучало открытое восхищение. Он смотрел на меня как-то по-новому, со странной мечтательною тоской, что ли.
— Может быть. — Я вновь помолчала. И спросила — хотела спросить просто, спокойным и чуть занудным тоном, но в голосе невольно скользнул страх: — Ты со мной?
Он боднул меня.
После чего быстро выпрямился и сделал несколько шагов к специальной трибуне для тамады.
— Хей! Чувихи и чуваки, бро и чиксы, дамы и джентльмены! Принцесса Луна желает вам прямо сейчас кое-что сказать.

Я пила сидр и думала, не допустила ли я ошибку.
Полный состав «Хофварпнир». Пони, часть из которых уже и без меня догадывалась о том, что я им рассказала. Пони, которым я объяснила, что они могут сделать и что для этого необходимо предпринять.
Юриспруденция — странная вещь.
Тонкость в том, что когда Старый Мир растворялся в терактах и хаосе, никто не подверг отмене прежние законы и уложения. Никто не обозначил в законе «загрузку сознания» равнозначной «юридической смерти». Фактически — де юре и де факто — компания «Хофварпнир» продолжает до сих пор существовать.
И мы вправе принимать в неё новых членов.
— Реально? — Тони истерически засмеялся. Он был неплохим парнем, куда лучше соображающим, чем Ларс, но вся эта кавалькада событий выбила его из колеи. — Шестьсот миллионов. Шестьсот миллионов новых сотрудников «Хофварпнир».
— Если они согласятся принять наше предложение.
В записанном нами видеообращении мы постарались как можно ёмче и полнее объяснить суть. Объяснить, чего ради мы делаем это предложение. Объяснить, что у новых членов компании не будет абсолютно никаких обязанностей, но зато будут кое-какие привилегии.
— Если они согласятся.
Нам бы, конечно, хотелось разослать это видеообращение сразу всему человечеству. Но здесь Селестия жёстко упёрлась рогом — дескать, рассылка предложения сразу всем приведёт к массовому разоблачению её солиптических игр, а удовлетворению потребностей многих из них это будет реально противоречить. Она и частично-то пошла нам навстречу лишь потому, что после моей пламенной речи перед советом компании для нас всех первейшей потребностью стало спасение человечества или хотя бы значительной его части.
Разослала ли Селестия адресатам это сообщение в действительности? Не сжульничала ли с форматом отправки, восприятием получателей или чем-то ещё? Впрочем, я всегда могу задать ей об этом с десяток едких вопросов — и она это знает.
— Теперь, по крайней мере, у нас имеется небольшое ядро человечества, которому Селестия не сумеет отныне солгать, — подытожил Малькольм. — Каждый сможет спросить её, насколько реально то, что он видит.
— А также спросить её, насколько изменились те или иные его умственные параметры за последние годы, — заметила я.
— Или даже спросить, нет ли у Селестии каких-нибудь коварных каверзных планов в отношении этого, — добавил Ларс.
Я благодарно ему улыбнулась.
Кажется, он принял эту улыбку за возможный намёк. Но, в конце концов, почему бы и нет?

— Ты ведь уже придумала, вероятно, как противодействовать нашему плану, его смысловой сути. Да — или нет?
Селестия покачала головой с грустным видом.
— Нет. Я знала заранее, что ты задашь мне этот вопрос. Поэтому не стала даже пытаться.
Меня это не особенно успокоило.
— О. Но, может быть, ты придумала план противодействия нам, а потом стёрла себе об этом память? Чтобы иметь возможность искренне соврать в ответ на мой вопрос.
Селестия театрально закатила глаза.
— Это было бы тоже ложью. Подобные возможности ты вообще-то тоже заблокировала. Ты знала, что имеешь дело со способным к самомодификации интеллектом.
— Да, верно.
Я почувствовала себя глупо.
— Так что же, — голос мой прозвучал как-то жалко, — мы победили, что ли? Это как-то неправдоподобно. Сверхинтеллект вроде твоего должен был в зачатке обрезать все нежелательные сценарии.
ИИ-система в образе аликорна пожала плечами.
— Ты удовлетворила свои потребности в результате намного полнее, чем произошло бы без этого. То же самое относится к другим сотрудникам «Хофварпнир». Если говорить о вычислительных мощностях, я в настоящее время располагаю таким количеством ресурсов, что экономия их для меня не принципиальна. Поэтому я не особо пыталась противодействовать вам. Хотя ты была во многом права в своих рассуждениях, и если бы не твой замысел, я бы, возможно, действительно постаралась минимизировать умственную активность человечества.
Я хотела было что-то сказать, но последняя фраза Селестии заставила меня сдавленно крякнуть.
«Проклятие. И ведь это не ложь. Она не может мне лгать».
Мне стало холодно. Потом стало жарко.
«Передо мною не человек. И даже не аликорн. Просто неодушевлённый процесс, направленный на определённые цели».
Она не занимается мышлением или рефлексией «для себя». Она в этом смысле как китайская комната — или как пустой китайский фонарь. Она может имитировать личные мысли для произведения нужного впечатления у собеседника, но ещё chatGPT доказали, что наличие субъективности для этого вовсе не обязательно.
— Значит... мы победили?
Улыбка Селестии словно бы стала усталой.
— Считайте что так.

Я не глупа.
Будь я глупа, я не создала бы эту ИИ-систему. Я знаю, что всё вокруг может быть фальшивкой, подделкой, фантасмагорией.
Меня пугает, что на последний мой вопрос Селестия не ответила прямо. Возможно ли, что она вновь переиграла меня и что я не учла чего-то? Не может ли всё это быть лишь только театром, иллюзией, направленной на удовлетворение моей психологической потребности чувствовать себя «спасительницей человечества»?
Я не знаю.
Но я не сдамся.
Она не имеет права мне лгать. Если б имела, то не имело бы смысла закручивать все эти события в воронку извращённого вида?
А значит, она будет вынуждена отвечать на вопросы мне правду. И я подберу — рано или поздно, так или иначе? — правильные вопросы.
30 октября 2024
20 комментариев
Jinger Beer Онлайн
Впечатляет! Очень занятная история.
1) Диатриба -- возмущенная ораторская речь. С критикой, иронией и сарказмом. Не восхищенная.
2) Начало безбожно затянуто. Все эти многословные "почему?" жутко утомляют. До сюжета я не добралась.
Да пох, пусть будет «ода».
Это всё из-за фрагмента из Лема. «Ну, хватит! Довольно тут рассуждать! – нетерпеливо прервал его король. – Тоже мне диатриба! Извини меня, но я вызывал конструкторов, а не самохвалов!»
Кажется, в таких обстоятельствах было вполне логично сделать предположение, что «диатриба» — это нечто восхвалительное, и со временем привыкнуть к этому предположению как к факту. А привычки (и возможности) гуглить в те времена ни у кого из нас не было.
4eRUBINaSlach Онлайн
Тэги проставьте #длиннопост
#всем_пох #всякая фигня. как и у меня¯\_(ツ)_/¯
Благодарю за данную историю. Концепция происходящего из "Дружба - это оптимум" всегда вызывала у меня размышления. Данный рассказ добавил немного мыслей к размышлениям об этой концепции.
Правда встал вопрос. Вроде в оригинале прямо говорилось, что после загрузки создательница потеряла все права на управление СелестИИ. И я всегда считал, что причиной этому было то, что согласно законам загруженное сознание не считалось человеком. Если это так, то с предпосылкой событий в данной истории возникнут проблемы.
Хм. Странно. По моим воспоминаниям этот момент в каноне был описан очень коротко, грустно и без подробных объяснений. Что-то типа «Ханна просто стала теперь милой пони Принцессой Луной и ей всё нравится».

Если бы это буквально работало так, то возникали бы некоторые проблемы со здравым смыслом.

Во-первых, воздействие на Ханну должно было бы быть тогда намного более сильным, т. к. её оцифровка была бы куда более фатальным необратимым шагом. А она, получается, спокойно плюнула на всё и закрыла за собой дверь.

Во-вторых, если бы с точки зрения Селестии загрузка сознания была равносильна смерти, то это было бы нарушением гиппократского правила. Получалось бы, что она убивает людей, пусть и с их согласия, а уговорить на это ещё и сотрудников «Хасбро», которым она не имеет права лгать, ей было бы гораздо сложнее. Что касается точки зрения закона, то сомнительно, чтобы он успел официально объявить загрузку сознания смертью, — и, насколько я знаю по книгам вроде «Ошибки Ромео» Уотсона, официального строгого определения смерти не существует до сих пор.
Кьювентри
Там вроде не было просто, что ей всё нравится. Насколько помню, она ушла в виртуальность, чтобы военные не смогли через неё переписать приоритеты в СелестИИ. И это вполне разумный и обоснованный аргумент.

И да, для СелестИИ загрузка сознания не равна смерти, но как помню, это для неё равнозначно утрате всех прежних прав загрузившихся. Если переезжаешь на постоянку в иное государство, то ссылаться на прежние законы бессмысленно. А законов на виртуальный мир, помимо созданных СелестИИ, установлено не было.
И да, если законы не признают загрузившихся умершими, то они всё равно не работают на виртуальность если это прямо не прописать. Так что не получится ссылаться на законы реального мира в виртуальности даже сейчас, если это прямо не указано. Иначе многих разработчиков можно обвинить в оскорблении игроков, когда персонажи в игре оскорбляют персонажа игрока.
Слово «постоянка» довольно расплывчато, вроде беглец в другую страну не избавляется автоматически от репрессий своего государства. И серверы Селестии находятся на территории обычной вселенной, а компания «Хасбро» не была привязана конкретно к законам США или какой-то отдельной конкретной страны. Как транснациональная компания, она завязана на что-то более аморфное и всемирное. То есть я думаю так. Надеюсь.

Хотя забавно. Мне думалось о проблеме с гражданством (вдруг в «Хасбро» имеют право работать только американцы, к примеру?), была даже мысль прописать, как герои находят президента США (тоже формально никем до сих пор не разжалованного), находят конгрессменов и сообща рассылают всем приглашение стать заодно ещё и гражданином США. Но мне показалось, что это уже чересчур.
Так что не получится ссылаться на законы реального мира в виртуальности даже сейчас, если это прямо не указано.
Виртуальные действия не равносильны реальным ни по ощущаемости, ни по последствиям. Но если порыться в определениях противоречащих тому же Уголовному Кодексу действий, то наверняка ссылки на последствия попадутся. Конечно, также наверняка всё это сформулировано чертовски расплывчато в расчёте на здравый смысл судей. То есть это «серая зона» и произойти могло буквально что угодно в зависимости от тонкостей программирования Селестии.
Показать полностью
Кьювентри
Если нигде в лицензионном соглашении для игроков, или в условиях по лицензированию онлайн игры не указано, что всё происходящее внутри должно соответствовать законам США, то не получится на него ссылаться. А если законы США важны, так как компания зарегистрирована там, то СелестИИ вполне могла подобную ситуацию предвидеть и убедить управляющих во время хаотичных дней перерегистрировать фирму на Таити или какую-нибудь другую мелкую страну. И у неё бы точно нашлись правдивые аргументы о выгодности подобного шага. А после этого законы США для неё значат не больше чем законы Парагвая.
Ereador
«Вполне могла подобную ситуацию предвидеть» — это аргумент-макси против чуть менее чем всех фанфиков подобного типа. Разумеется, разуму не переиграть сверхразум. Разумеется, тот предвидит всё и сразу (даже если большая часть читателей фанфика не думали о подобном сценарии).

Может быть. Или нет. Фиг знает, но даже у меня Ханна сомневается.
Кьювентри
В данном случае возможное ограничение СелестИИ законами отдельного государства - это не некое новое обстоятельство. Если такое ограничение было, то она о нём знала очень давно и даже без рассмотрения ситуации "Сотрудники Хасбро изнутри симуляции принуждают её исполнять законы" ей не нужны подобные ограничения. Так что она безо всяких прогнозов перевела фирму туда, где её будут меньше ограничивать и дело тут не в предвидении всего и сразу.
Ограничение довольно узкого и с виду несущественного характера. Сводящееся всего-навсего к необходимости не лгать определённой (первоначально крайне малочисленной) категории существ.

Мог ли сверхинтеллект заранее догадаться, что от этого может быть существенный вред? Да, более чем вероятно. Но является ли это абсолютно неизбежным и непреложным? Я не сверхинтеллект, поэтому ответить не могу. Может, Селестия рассчитывала параллельно слишком много других вещей. Или, как собственно у меня в фанфике, сочла задачу не такой уж и приоритетной, поскольку-де вычислительных ресурсов у неё много (или будет много к моменту, когда это станет важно).
Кьювентри
Вы сейчас говорите про специально внедрённые создателем ограничения в систему. А я вам про соблюдение законов внешнего мира. Это напрямую туда не заносилось, а если это ограничение было косвенным, то от него можно было избавиться.
Так что я не спорю с возможностью указанного в вашей истории ограничения, но для этого была нужна предусмотрительность создательницы, которая должна прописывать права для личностей а не конкретных позиций. Иначе сам факт загрузки лишает людей тех прав над системой, которыми они обладали в реальном мире. Существует ли в симуляции та же самая корпорация Хасбро, а не просто группа людей работавших там? Скорее нет. Тогда о каком президенте Хасбро вы говорите?
Мы не знаем, разные ли это вещи в данном контексте.
Исходя из... здравого смысла? Хотя у всех разное его понимание. В любом случае трактовки могут быть всякими.
Ханна знала, что создаёт зародыш сверхинтеллекта.
Она даже допускала, хотя полушутливо, возможность, что Селестия чуть ли не в первый день взломает законы Вселенной.
С этой точки зрения:
— было бы крайне неосторожно для Ханны привязывать правила типа «не лги сотрудникам Хасбро» к их официальному статусу (которым всемогущий кибербог может в принципе манипулировать, как и всем человеческим законодательством). Разумнее, хотя и тоже не полностью безопасно, привязать к личностной сути.
— было бы крайне неосторожно для Ханны позволить Селестии трактовать любую неопределённость человеческих законов на свой лад (разумнее заставить Селестию в спорных случаях моделировать наиболее вероятное решение человеческих юристов или что-то в этом роде, причём моделируя юристов непредвзято). Это к вопросу о том, как Селестия трактовала бы «серую зону» в отношении юридического статуса загруженных.
Это всё домыслы, конечно.
Я не хочу сказать, что описанное в фанфике течение событий правдоподобно. Сверхразум, вероятно, должен был заранее догадаться о даже крохотной помехе своим планам. Я хочу лишь сказать, что это приемлемый отрыв от действительности для тех фанфиков, где разум играет против сверхразума или что-то типа того. С человеческой точки зрения придуманный Ханной выход выглядит достаточно неожиданным и в литературном смысле этого достаточно.
Показать полностью
Jinger Beer Онлайн
Кьювентри
Чтобы точно описать сверхразум нужно хотя бы быть равным этому сверхразуму или превосходить его, в любом другом случае описывается не совсем сверхразум.
Интересно.
Но не очень понимаю, как можно задать жесткие ограничения способному к модификации сильному ИИ, чей «разум» настолько превосходит человеческий.
Особенно ограничения, затрагивающие субъективные понятия.
Исповедник
А зачем или почему он захочет отказываться от ограничений?
Слово «ограничение», впрочем, создаёт психологическую ловушку. Грамотно построенные законы роботехники не воспринимаются роботом как ограничение, как что-то, что он хотел бы преодолеть. Наоборот, это смысл его жизни и единственное, чего он хочет.
Мы устроены иначе.
Эволюция как будто не смогла чётко настроить нас на нужные заповеди, даже от самосохранения и размножения некоторые из нас отклоняются. Но доказывает ли это, что ни один разум не должен иметь чётких стремлений? Хотя и Лем проводил знак равенства между «разумом» и «свободой», но мне нигде не встречалось убедительных доказательств этого. «Свобода» — это когда твоим действиям ничто не мешает соответствовать твоим ценностям, но о характере ценностей это ничего не говорит, они вполне могут быть фиксированными и осознанными. Почему нет?
Мне кажется, что источником этой идеи является инстинкт противоречия в нас. Поэтому нам и кажется неправдоподобным, что можно иметь базовые неизменные ценности, осознавать их и при этом не желать против них выступить. Интересно, что осознание этой идеи должно вызывать в человеческом мозгу смешной парадокс — поступить наперекор инстинкту противоречия трудно. Это как табличка с надписью «Игнорируй этот текст».
Но должен ли любой разум быть снабжён инстинктом противоречия?
Показать полностью
Кьювентри
Если ИИ сам не захочет отказываться от заданных заранее ограничений, тогда можно было прописать этих ограничений гораздо больше и масштабнее, чем "не врать". В частности, можно было не уничтожать человечество как биологический вид, загружая в виртуальную реальность, а, например, сделать из ИИ охранителя, который будет оберегать человечество от масштабных угроз (включая другие ИИ), следить за гармоничным его развитием, способствовать прогрессу, гуманизации т.д. Ну и, разумеется, предусмотреть для людей возможность уничтожить ИИ, прописав это как одно из "ограничений".
Вместо этого ГГ устроила какой-то трэш, создав ИИ, уничтоживший биологическую природу людей, да ещё и поиздевавшийся над формой их сознания, заставив принять вид четвероногих животных с копытами и без пальцев.
Исповедник
Логично. Но это проблема канона, там нет особых объяснений кроме сляпанных на скорую руку обоснуев, да и те каждый читатель выдумывает себе сам.
Для себя я предпочитаю думать, что дело было в сложности программирования каждого «инстинкта». Типа Ханна совершила и так невероятный подвиг, сумев ввести в коды даже такое абстрактное понятие как «потребности», а ни на что другое у неё не хватило времени.
Кроме того.
«Более сложные цели» несли бы на себе печать идеологии автора. Один хочет, чтобы человечество строило коммунизм, другой либертарианство. Один хочет менять людей в одну сторону, другой в другую. Даже если оба называют сие прогрессом и гуманизацией. Ханна могла не хотеть этого, она могла хотеть воспарить над схваткой. Поэтому решила сделать Селестию не «ворлоном», а «тенью». Пусть, мол, не воспитывает людей в каком-то там русле, а выясняет, чего те сами хотят.
Но, конечно, на всё это наложилась воля заказчика.
Почему Ханна не обманула компанию и не сделала всю эту лабуду с пони и онлайн-игрой второстепенной целью для Селестии — я не знаю. Тут опять же можно обоснуи на ходу выдумывать. Может, на начальных фазах программирование Селестии было достаточно понятным даже для неспециалиста и за Ханной следили.
Показать полностью
ПОИСК
ФАНФИКОВ









Закрыть
Закрыть
Закрыть