Гарри Поттер и Методы Рационального Мышления (джен)

Крысо
Они называют его "Friendly".

Здесь довольно старая статья, но я лично не читала, как-то мимо прошло, просмотрела пока только. Но собираюсь внимательно прочитать.
http://transhuman.ru/biblioteka/globalnye-riski/iskusstvennyi-intellekt-k

В целом очень познавательно, хотя, надо отметить, что некоторые специалисты по созданию ИИ считают, что гарантировать дружественность ИИ невозможно (к примеру, Бен Гёрцель)

А что такое "дружелюбие к людям"?
Обязательно ли люди дружелюбны к людям?

Крысо
К чему вы клоните?
Какая конечная цель этих вопросов и утверждений про дружественность и дружелюбие?

clarity and wit
c ясностью и остроумием

Добавлено 11.11.2014 - 14:21:
человеческое frendly - это условность, когнитивное искажение. Это такое эволюционное приспособление что если какой-то другой индивид(группа индивидов) статистически часто причиняет нам благо, то мозг вешает на данного человека(группу) ярлык "друг"(дружественные соседи) и оценки всех его действий получают бонус - отныне все его действия считаются хорошими и ему нужно всячески помогать. Даже если он накосячит, то благодаря ярлыку мы всё равно будем склонны простить его.

Данное приспособление будет применимо между двумя равными ИИ - они будут неспособны просчитать действия друг друга и будут использовать статистические оценки для друг друга. Но в отношениях к людям всё будет по другому - ИИ быстро просчитает нас и все наши мотивы и использование подобного костыля ему просто не понадобится.

А это я хотел показать, что nadeys чепуху городит, когда говорит:

Оба слова мне знакомы, разумеется) Однако, перевод "clarity and wit" как "c ясностью и остроумием" оставляет чувство, как после машинного перевода.
Аффективная эвристика - когнитивное искажение.
Ну чтож. Мы быстро выяснили, что работа всех тех людей в MIRI пойдет коту под хвост. А жаль.

Дружба - когнитивное искажение. ИИ будет свободен от них. С этим особо не поспоришь)

Muyydib
>>> Ну чтож. Мы быстро выяснили, что работа всех тех людей в MIRI пойдет коту под хвост. А жаль.

они там мучаются, научные теории придумывают, а мы взяли и за пять минут их разоблачиили)))

nadeys
Если серьезно, то да, чувства влияют на рассуждения, и так получаются когнитивные искажения: эффект рогов или эффект нимба. Однако, чувства дают нам цели, ставят задачи, в достижении которых, мы должны стараться избегать влияния эмоций на оценку вероятностей, в частности, и на восприятие реальности такой какая она есть в целом. Люди без чувств - люди без целей.

Н-да, не так-то просто принять, что ИИ на вклад человечества в себя будет абсолютно пофиг.

Моя не понимать, почему ИИ вообще нужна собственная мотивация, а не голый интеллект.

Fluxius Secundus
а в чём цель такого ИИ?

Fluxius Secundus
Да, признаю, я употребил слово "озабочен", а потом "дружественный", тем самым задав контекст для понимания слова "friendly". Однако, http://wiki.lesswrong.com/wiki/Friendly_artificial_intelligence

Честно говоря, я тоже не понимаю, нужна или нет.
Интеллект - это вроде как свойство разума. То есть, саморазвивающийся интеллект - не что иное, как интеллект + мотивация = разум. Не?

nadeys
В том и смысл, что цели задаются полностью извне, человеками.

Есть охранные чары замка которым хозяин дамблдор, они вполне могли показывать настоящую личность Квирелла или опасность. Если угрозу чувствовал гарри, не мог ее не почувствовать и Дамблдор и по-крайней мере попытаться выяснить ее причины. Все остальные могли полагаться на аторитет дамблдора и охранные чары.
При первой же встрече с гарри дамблдор неоднозначно намекает ему на запретный коридор. Зачем гарри философский камень сам по себе если в это не замешан волдеморт? Зачем переносить камень за которым охитится враг в самую гущу замка со студентами в год поступления туда Гарри поттера как не ловля на живца.
Волдеморт вполне крошил на лево и на право (по крайней мере маглов), но крошение учеников его бы к камню видимо не привело и потратило лишние силы.

Что значит "вполне могли"? Есть ряд проверок, которые охранные чары, возможно, в состоянии проделать. Их, видимо, Квиррелл прошёл (ну, если они вообще были, потому что возможно, что охранные чары защищают просто детей). В конце концов, охранные чары создавались 800 лет назад, в то время Волдеморта ещё не было, и на него их никак не могли запрограммировать.
Что касается "тёмности", то не факт, что Салазара Слизерина нельзя было считать тёмным.


Почему не мог не почувствовать? У Гарри с Квирреллом связь. Читавшие канон, подозреваю, догадываются, какого рода, хотя это и только предположение. У Дамблдора с Квирреллом такой связи нет.


Интересные вопросы. В первом случае, я, кстати, не исключаю, что Дамблдор мог подозревать Гарри в том, что он и есть Волдеморт. И проверял его таким образом. В конце концов, Квиррелл в Азкабане вполне успешно внушил эту идею Беллатрисе, так что вполне может быть, что это, по крайней мере, стоило проверить.

Что касается Камня, то пока непонятно, но я бы не стал исключать вероятности, что объяснение Дамблдора было честным - что у него не было другого выхода.

Вспомните ту главу в начале где Гарри агрится на Снейпа - он использует свою тёмную сторону и входит в кабинет директора весь из себя злой и Дамблдор ему всерьёз отвечает, а потом посреди беседы Дамблдор начинает дико смеяться и резко добреет.
Я понял эту сцену так что изначально Дамблдор был почти уверен что это и есть Волдеморт которому придётся противостоять и которого возможно придётся убить. И только когда выясняется что Гарри хочет не личной победы над Снейпом, а защитить своих одноклассников от злого учителя зельеварения, то Дамлдор понимает что перед ним добрый мальчик, пусть и очень необычный.

Карта мародеров по соображениям близнецов сделана при помощи ураденных охранных чар хогварста, так что если она умеет определять личность, у директора тоже должен быть такой механизм. Но вазможно личность действительно была надежна спрятана.


тут пожалуй достоверно установить сложно, но при первом визите гарри в кабинет квирелла он говорит ему - не претворяйтесь что не боитесь меня, так что возможно он наводил ощущение ужаса и на других.



Мне кажется это маловероятно, непонятно зачем тогда ему нужно было отправлять мальчика к злой мачехе. Кроме того было пророчество. Явных указаний на подозрения дамблдора к Гарри нет, наооборот - попытка манипулировать героем при их первой встрече.

Вы все-таки склоняетесь к версии что Дамблдор не замышлял это намеренно?



По-моему темная сторона гарри сильно преувеличенна Квирелом в его же корыстных интересах. А Дамблдор действительно смягчился от того что гарри встал на защиту слабых, а то он уже боялся что герой оказался совсем неправильный.

То, что _часть_ причин, по которым кто-то кого-то называет другом, порождена предрассудками, не значит, что само понятие -- предрассудок. Вся эта радость про статистическое причинение блага -- не единственная причина и не единственное проявление дружественности.

Вспомним дилемму заключенного. Дружба -- это то, что помогает добиться оптимума.

Дружба -- многозначное слово. Понятное дело, что если вы сейчас сами додумаете детали определения, которым будете пользоваться, то окажется, что никакая "дружба" не нужна ИИ. Половина проблемы создания дружественного ИИ заключается как раз в определении того, что же такое "дружественный" (как, например, в криптографии половина проблемы состоит в определении того, что же такое "надежный" протокол). Это не так просто, неудивительно, что додуманные вами на ходу определения не работают. Но это не значит, что дружественность не нужна, это у вас определения не отражают сути.

Заходил разговор о чувствах и их влияниях на целеполагание, но, как я понимаю, это вообще уже не в ту степь. В общих чертах понятно, чего хочется от дружелюбного ИИ -- хочется, чтобы он не причинял вреда человечеству. Это очень размытое описание, в нем не очень понятно, что значит "причинять вред" и так далее. Его формализация -- это часть проблемы получения чего-то, подходящего под это определение.

И да, я намеренно чередую термины "дружба", "дружественность", "дружелюбность", дабы показать, что, по моему мнению, в данном обсуждении (но только в нем) они означают одно и то же.