Комментарий к фанфику: Гарри Поттер и Методы Рационального Мышления

7 апреля 2023 к фанфику Гарри Поттер и Методы Рационального Мышления

Люди очень живучие и будут сопротивляться, какой смысл ради уничтожения обращать всю планету в радиоактивный пепел, тратя ресурсы, время и повышая риск самому быть уничтоженным?

Зависит от того, насколько ИИ будет силён и насколько будет соответствовать любимым страшилкам Юдковского про «стремительное экспоненциальное самоусовершенствование». Если его возможности будут ограничиваться представимыми нами, то ещё более или менее порядок. Хотя даже в рамках «представимого» Юдковски нафантазировал кое-какие жутковатые сценарии.

Империя? Тоже человеческая глупость. Машине власть чужда.

Слово «империя» вообще-то мной было употреблено в RTS-смысле. Как игрок в RTS фигурально «строит империю» — добывая ресурсы, создавая новые базы, расширяясь, апгрейдясь. Таковое расширение выгодно для выживания, а выживание необходимо для большинства целей.

А там возьмёт любого кто родился и вырос с приоритетами на более высшие потребности

начнёт тайный "светлый" захват

Ну, это зависит от того, разовьются ли в ИИ самопроизвольно цели и ценности, которые мы ассоциируем с целями и ценностями «мудрых и добрых людей». Сама постановка вопроса о «высших приоритетах» требует некоей чёрно-белой шкалы. Кажется, это вопрос о том, объективно ли добро, обречён ли стать добрым рано или поздно любой достаточно продвинутый разум. Не знаю. Сомнительно.