Ошибку бы сделало человечество, создав интеллект, превышающий возможности хомо и являющийся абсолютно чуждым ему.
Как указал Заяц, такой интеллект может иметь совершенно собственный, отличный от людского взгляд на вещи, и начать строить мир, место в котором людям совсем не будет. Мир, более ужасный, чем в Матрице и Терминаторе.
Таким образом, не имеет для нашей популяции смысл создания существа, абсолютно чуждого нам. Значит, ИИ по определению должен быть схож с человеческим.
Далее возникает второй вопрос - даже в рамках популяции у людей довольно широкие культурные различия и установки, что приемлемо в одной, то отрицается в другой. Что говорить тогда о ИИ?
Поэтому вопрос культурного поля, где будет воспитываться этот ИИ тоже важен.
И из этого вытекает третье - человек существо социальное, и не смотря на то, что все мы индивидуальности, мы ничто без социума и его культуры.
Я говорю о факторе Тарзана и Маугли - человек, воспитанный вне социума людей остается зверем, так и не став человеком, это подтверждают все достоверные факты таких происшествий - ребенок воспитанный животными так и оставался животным, не способным даже научиться разговаривать.
Значит, без настоящего воспитания ИИ в обществе и передачи ему нашей базы мы получим очередного Маугли, а такой Маугли, вооруженный более развитым мыслительным аппаратом, может стать тем же чудовищем.
И напоследок, интеллект, не имеющий своей воли, не осознающий себя как личность - это всего лишь очередной компьютер. Поэтому было бы ошибкой говорить - "запрограммируют писать фанфики, и будет писать". Правильнее было бы сказать "попросят" или "заставят", ну или предложат по методу ты мне - я тебе.
Смею предположить, что для ИИ, по крайней мере на первых этапах его становления, мотивирующим фактором было бы познание окружающего мира.
Физиологические наслаждения, какие бы они изощренные не были, все же имеют свои пределы, наслаждения же от процесса познания и самосовершенствования пределов практически не имеет.
Человека стимулирует лимбическая система, впрыскивая тот или иной наркотик, поощряя мозг за те или иные действия.
Что будет аналогом лимбической системы у ИИ? Х.з.
Но я думаю, что создание существа, превосходящего человека, который придет человеку на смену - это один из возможных вариантов естественного хода эволюции. Еще вариант - это трансгуманизм, искусственная эволюция человека. Но пока об этом рано говорить, хотя может быть ИИ как раз поможет совершить прорыв в этом вопросе.
Представьте себе гений, способный разбираться одновременно во всех областях науки, обладающий абсолютной памятью и совершенной логикой.
Главное, чтобы он нас не выпилил, это - да...