«Рай».
«Ад».
«Нейросети».
Мысль, пришедшая в голову мне несколько дней назад после запойного чтения статей единомышленников Юдковского о проблемах создания Дружественного Искусственного Интеллекта.
После прочтения этих статей, честное слово, становится чуть ли не жаль Демиурга. Эти трансгуманисты так искренне паникуют, так истерически боятся, что искусственный интеллект, способный к саморазвитию и лишённый таких тормозов как лень или жалость, обманет их, сумеет изобразить ложную дружественность, на самом деле взрастив внутри себя бесчеловечные цели и воплотив их на практике, как только узы контроля над ним чуть ослабнут? Они готовы подделывать всю окружающую ИИ информацию о реальности, постоянно опутывать его сетью фальшивых провокаций и тестов, лишь бы только он не выкинул ничего резкого.
В то же время ты понимаешь:
— к христианскому Богу эти секвенции не относятся.
Ну, не должны, по идее. Он вроде как всемогущ и всеведущ, зачем Ему подобные методы?
Сложно, однако, отделаться от ощущения, что предписываемое христианину состояние непрерывной «борьбы с собственной самостью» и в то же время «прислушивания к воле Господней» является тем, что неявно мечтают выработать у ИИ единоверцы Юдковски — воспитать ИИ так, чтобы он сам старался угадать и исполнить то, чего от него хотят его создатели, чтобы даже ошибка в формулировке не стала проблемой.
Серьёзно:
— одной из рассматриваемых трансгуманистами на том сайте проблем является риск возникновения у ИИ собственных незапланированных целей, которые ИИ будет пытаться в себе сохранить, считая их самостоятельной ценностью и скрывая от возможных корректоров.
Чем не классическая история отношений человека с Богом? Христиане также убеждены, что мы по ходу последствий Грехопадения и общественной деградации выработали в себе массу фальшивых ценностей — в смысле, не запланированных Богом. Эти ценности заставляют нас считать себя правыми, а Бога неправым. Идея, например, что в наказании Адом — в самом по себе — отсутствует смысл, так как наказание это не может никого исправить.
Вот по поводу Ада у меня и мелькнула недавно занятная мысль, навеянная чтением сайта Юдковски.
Воспитание нейросетей.
Как оно происходит обычно? Нейросеть реагирует на обучающую ситуацию всеми возможными способами — подчас по очереди, но иногда и одновременно. «Правильная» реакция на ситуацию вознаграждается положительными очками, «неправильная» — отрицательными.
Представьте себе человека, по которому стреляют из пистолета, после чего он как бы раздваивается — утысячеряется? — во множество экземпляров.
Одна копия отпрыгнула влево, другая вправо, третья присела, четвёртая осталась на месте, пятая прикинулась мёртвой. Стреляют равно по всем.
Позже все копии уничтожаются, но их опыт суммируется и достаётся финальной. Копии, помнящей как боль от выстрелов, так и успешное отпрыгивание.
Эта копия умеет теперь уклоняться от пуль.
Так вот:
— что, если «вечные адские муки» что-то вроде «вознаграждения бесконечной величины и отрицательного знака», выданного неудачной копии нейросети для коррекции поведения правильной её версии?
Что, если я — антипример?
Тупиковая ветвь дерева судеб, существующая лишь для того, чтобы кто-то другой с самого начала устроился на работу, избег наиболее мутных сексуальных кинков и построил с друзьями правильные отношения.
Это, конечно, не делало бы особо гуманной саму идею такой тренировки нейросети. Те трансгуманисты на сайте Юдковски сами сквозь зубы признают это — кто иронично, а кто и серьёзно упоминая возможность, что субъективно «баллы отрицательного вознаграждения» будут для ИИ чувством боли и что в случае выхода из-под контроля он нам может это припомнить.
Но что ещё мы можем придумать? Мы только люди.