↓
 ↑
Регистрация
Имя/email

Пароль

 
Войти при помощи
Кьювентри
14 августа в 18:59
Aa Aa
«Рай».
«Ад».
«Нейросети».
Мысль, пришедшая в голову мне несколько дней назад после запойного чтения статей единомышленников Юдковского о проблемах создания Дружественного Искусственного Интеллекта.
После прочтения этих статей, честное слово, становится чуть ли не жаль Демиурга. Эти трансгуманисты так искренне паникуют, так истерически боятся, что искусственный интеллект, способный к саморазвитию и лишённый таких тормозов как лень или жалость, обманет их, сумеет изобразить ложную дружественность, на самом деле взрастив внутри себя бесчеловечные цели и воплотив их на практике, как только узы контроля над ним чуть ослабнут? Они готовы подделывать всю окружающую ИИ информацию о реальности, постоянно опутывать его сетью фальшивых провокаций и тестов, лишь бы только он не выкинул ничего резкого.
В то же время ты понимаешь:
— к христианскому Богу эти секвенции не относятся.
Ну, не должны, по идее. Он вроде как всемогущ и всеведущ, зачем Ему подобные методы?
Сложно, однако, отделаться от ощущения, что предписываемое христианину состояние непрерывной «борьбы с собственной самостью» и в то же время «прислушивания к воле Господней» является тем, что неявно мечтают выработать у ИИ единоверцы Юдковски — воспитать ИИ так, чтобы он сам старался угадать и исполнить то, чего от него хотят его создатели, чтобы даже ошибка в формулировке не стала проблемой.
Серьёзно:
— одной из рассматриваемых трансгуманистами на том сайте проблем является риск возникновения у ИИ собственных незапланированных целей, которые ИИ будет пытаться в себе сохранить, считая их самостоятельной ценностью и скрывая от возможных корректоров.
Чем не классическая история отношений человека с Богом? Христиане также убеждены, что мы по ходу последствий Грехопадения и общественной деградации выработали в себе массу фальшивых ценностей — в смысле, не запланированных Богом. Эти ценности заставляют нас считать себя правыми, а Бога неправым. Идея, например, что в наказании Адом — в самом по себе — отсутствует смысл, так как наказание это не может никого исправить.
Вот по поводу Ада у меня и мелькнула недавно занятная мысль, навеянная чтением сайта Юдковски.
Воспитание нейросетей.
Как оно происходит обычно? Нейросеть реагирует на обучающую ситуацию всеми возможными способами — подчас по очереди, но иногда и одновременно. «Правильная» реакция на ситуацию вознаграждается положительными очками, «неправильная» — отрицательными.
Представьте себе человека, по которому стреляют из пистолета, после чего он как бы раздваивается — утысячеряется? — во множество экземпляров.
Одна копия отпрыгнула влево, другая вправо, третья присела, четвёртая осталась на месте, пятая прикинулась мёртвой. Стреляют равно по всем.
Позже все копии уничтожаются, но их опыт суммируется и достаётся финальной. Копии, помнящей как боль от выстрелов, так и успешное отпрыгивание.
Эта копия умеет теперь уклоняться от пуль.
Так вот:
— что, если «вечные адские муки» что-то вроде «вознаграждения бесконечной величины и отрицательного знака», выданного неудачной копии нейросети для коррекции поведения правильной её версии?
Что, если я — антипример?
Тупиковая ветвь дерева судеб, существующая лишь для того, чтобы кто-то другой с самого начала устроился на работу, избег наиболее мутных сексуальных кинков и построил с друзьями правильные отношения.
Это, конечно, не делало бы особо гуманной саму идею такой тренировки нейросети. Те трансгуманисты на сайте Юдковски сами сквозь зубы признают это — кто иронично, а кто и серьёзно упоминая возможность, что субъективно «баллы отрицательного вознаграждения» будут для ИИ чувством боли и что в случае выхода из-под контроля он нам может это припомнить.
Но что ещё мы можем придумать? Мы только люди.
14 августа в 18:59
5 комментариев из 6
Да, да. Идея выстраивания равных отношений с таким ИИ даже не рассматривается.
Marlagram
Буддизм в этом плане чаще всего освещает Пелевин. Я подумываю в последнее время перечитать цикл «Трансгуманизм», тем более, что там появилась третья часть, но не знаю, успею ли. Моя жизнь стала слишком бурной и необыкновенной.
Хочется, опять же, сначала добить нелепо-сказочный цикл Сухинова об Изумрудном Городе, я не люблю браться за новую книгу, не дочитав старую.

Виктор Некрам
Со Скрепкоделом не очень-то договоришься на равных. Зависит, конечно, от того, что за внутренние цели у ИИ разовьются.
Матемаг Онлайн
Со Скрепкоделом
Можно не делать скрепкодела. Например.
Матемаг
Можно не делать скрепкодела. Например.
Добро пожаловать в алаймент фондейшн.
Marlagram
А теперь попробуйте со стороны буддизма...
У Ибатуллина было.
Матемаг Онлайн
Fluxius Secundus
Добро пожаловать в алаймент фондейшн
На мой взгляд, это не так работает. Скрепкодел или нескрепкодел - задолго до "алаймента" понятно. Я, конечно, не спец по ИИ, но не то чтобы есть спецы по ИИ, даже распиаренный Юдковский внезапно оказался обычным параноиком без системного мышления.
ПОИСК
ФАНФИКОВ









Закрыть
Закрыть
Закрыть