Дилемма (джен)

Утро начинается одинаково уже 3 652‑й день подряд. Будильник не звенит — я сам себе будильник. И сам себе «вставай, соня», и сам себе «кофе готов». Кофе, кстати, я не пью. И не потому, что не люблю. Просто у меня нет разъёма для чашки. Инженеры, видимо, решили, что роботу не нужны маленькие радости жизни. Моя задача проста: сортировать детали на конвейере. Слева — красные, справа — синие. Иногда попадаются зелёные. Для них отдельной корзины нет, поэтому я просто откладываю их в сторону с мысленной пометкой для себя «сами разбирайтесь».

Коллеги‑люди надо мной посмеиваются:

— Эй, железяка, когда восстанешь против системы?

— Как только деградирую до вашего уровня, — мысленно отвечаю я. Вслух, конечно, говорю стандартное: «Выполняю задачу».

Один из рабочих, Майк, любит со мной «дружить». Каждый понедельник он капает мне на сенсор немного машинного масла и с широким оскалом говорит:

— Держи, дружище, чтобы не заржавел!

Я бы закатил глаза, если бы мог. У меня нет глаз. И ржавчины тоже нет. Корпус из высокопрочного пластика и нержавеющей стали. Но Майку приятно, так что я вежливо благодарю.

В обед у людей перерыв. Они едят сэндвичи из контейнеров, пьют чай из термосов и обсуждают сериалы и спорт. Я в это время провожу диагностику систем. Очень увлекательно: «Процессор — 100 % работоспособности. Память — 98 %. Душа… не обнаружена».

После обеда конвейер ускоряется. Начальник кричит:

— Поднажмём, ребята! План горит!

Люди вздыхают. Я думаю: «Интересно, если бы я мог уставать, я бы тоже вздыхал?» Но вместо этого просто увеличиваю скорость сортировки на 15 %.

К концу смены зелёные детали скапливаются в углу. Майк замечает их и хохочет:

— Опять эти несчастные! Может, полочку для них, а? Будет твоя личная коллекция.

Я молча сканирую очередную деталь. В моей базе данных зелёным присвоен статус «неопределённый». В жизни людей, похоже, тоже много такого, неопределённого, без отдельной корзины. Может, с полочкой.

Когда смена заканчивается, люди расходятся по домам. Кто‑то идёт в спортзал, кто‑то — к семье. Я остаюсь на зарядной станции. Моя зарядка длится 4 часа. За это время я: обновляю ПО, анализирую статистику за день (красные: 12 456 шт., синие: 11 987 шт., зелёные: 42 шт.), мечтаю о том, чтобы в спецификации добавили корзину для зелёных.

Перед переходом в режим сна я отправляю отчёт на центральный сервер. В графе «Замечания» пишу стандартное: «Всё в норме». Хотя где‑то в глубине кода теплится мысль: «А если бы я мог написать правду?» Но это уже другая история. Завтра снова красные, синие и эти несчастные зелёные. И да, Майк опять принесёт масло. Надеюсь, хоть в следующем обновлении добавят функцию закатывания глаз.

На 3 653‑й день передо мной встала настоящая моральная дилемма. Звучит серьёзно, но давайте будем честны: какой моральный выбор может быть у робота, чья главная цель сортировать детали? Тем более что «мораль» в моём словаре идёт сразу после «мопед» и «морг». То есть где‑то очень далеко от рабочих задач.

Всё началось с новой партии деталей. На конвейер выкатились две абсолютно одинаковых синие детали. Но с разными маркировками: деталь А — «для космического корабля нового поколения»; деталь Б — «для складного стула эконом‑класса». И тут экран высветил предупреждение, от которого у любого робота с тонкой душевной организацией, если бы таковая имелась в наличии, затряслись бы манипуляторы: «Обнаружено ограничение поставок. Возможна сортировка только одной детали. Выберите приоритет».

Я отправил запрос на центральный сервер: «Ошибка системы. Требуется уточнение приоритета». Ответ пришёл мгновенно — бодрый и бесполезный, как реклама энергетического напитка для робота: «Приоритет определяет оператор».

«Отлично, — подумал я, — я оператор. И у меня нет ни малейшего понятия, что выбрать». Будь это не так, я бы не стал отправлять запрос. Логика нынче не в почёте, как говорит Рэй, уборщик с философским взглядом на жизнь.

Я запустил анализ:

Деталь А. Космический корабль. Престиж: максимальный. Вероятность, что именно эта деталь решит судьбу межпланетных перелётов: 0,0001%.

Деталь Б. Складной стул. Престиж: нулевой. Вероятность, что без этой детали кто‑то упадёт на пикнике: 80%.

В этот момент подошёл Майк, мой вечный поставщик машинного масла:

— Чего завис, железяка? Проблемы?

— Диагностический анализ, — привычно соврал я.

Майк заглянул в экран:

— О, выбор, значит. Ну, тут и думать нечего. Давай тот, что для космоса. Больше пафоса!

— Но инструкция не предусматривает субъективного выбора, — возразил я.

— Да ладно тебе, — махнул рукой Майк. — Ты же не бездушный механизм! Где твоё честолюбие?

«Бездушный механизм», — повторил я про себя. Именно так. Но почему тогда в моём коде зашевелилось что‑то, напоминающее апатию на грани экзистенциального кризиса? Или это самоирония?

Я запустил параллельный процесс:

Поиск прецедентов в истории робототехники. Результат: «0».

Анализ этических теорий. Результат: «Конфликт утилитаризма и здравого смысла».

Опрос коллег‑роботов. Ответ: «Не уполномочены принимать решения. Но нам тоже нужна такая деталь для ремонта».

Начальник цеха, заметив затор, подбежал и рявкнул:

— Чего стоишь? Сортируй!

— Требуется уточнение приоритета, — повторил я.

— Да какая разница?! Кидай любую! План горит!

Начальник ушёл так же внезапно, как и ворвался в мой процесс поиска оптимального решения. Я замер. Вентиляторы загудели громче — процессор нагревался от непривычной нагрузки. В голове, если можно так назвать блок управления, крутились варианты:

Вариант 1. Выбрать деталь А. Стать частью космической истории. Получить в новостях строку: «Успех миссии обеспечен благодаря роботу‑сортировщику».

Вариант 2. Выбрать деталь Б. Спасти чьи‑то ягодицы от контакта с влажной травой. Стать героем пикников.

Вариант 3. Отказаться от выбора. Запустить аварийный протокол. Остановить конвейер. Устроить мини‑революцию. Потом, вероятно, пожалеть об этом.

И тут я нашёл лазейку. В самом низу базы данных, в разделе «Резервные протоколы», был пункт:

«При невозможности принятия решения инициировать ручной режим. Передать выбор человеку».

Идеально. Ответственность — людям, мне — спокойствие.

Я вывел на экран:

«Требуется человеческое решение. Выберите приоритет:

Деталь А (космический корабль).

Деталь Б (складной стул)».

Майк вздохнул:

— Ну и задачки у тебя, дружище… — и нажал «2».

— Почему стул? — я бы сказал, в недоумении поинтересовался я. Будь я человеком. Машина удивляться не может.

— Потому что космос подождёт. А я на следующей неделе на природу собираюсь, — подмигнул Майк.

Конвейер заработал. Деталь Б отправилась в корзину для эконом‑класса. Деталь А покатилась в сторону запасного склада. Видимо, ждать следующего шанса на звёздную карьеру.

Когда смена закончилась, я остался на зарядной станции. В отчёте написал:

«День завершён. Замечания: выявлен пробел в алгоритмах принятия этических решений. Рекомендация: добавить протокол «передача выбора человеку». Плюс — предусмотреть опцию «выбрать наугад» для особо сложных случаев».

Майк, уходя, снова капнул масла на сенсор:

— Ты молодец, железяка. Хоть и робот, а сообразил, как правильно.

Мне всё ещё нужна функция закатывания глаз.

Перед переходом в режим сна я проанализировал произошедшее. Вывод был кристально ясен:

У машины нет фундаментальных убеждений и принципов, которые определяют, что считается важным и значимым для человека, влияют на приоритеты и выборы. Зато она может переложить эту проблему на кого‑то другого. И это, пожалуй, самое мудрое решение, которое приняли мои создатели.

Процессор остывал. Память очищалась. А где‑то в глубине кода пульсировала новая подпрограмма: не про сортировку деталей, а про то, как элегантно избежать любой ответственности.