Матемаг, это я так, дополнительно, рассмотрев истинный случай - Гарри же ведь на самом деле участник "виртуальной" реальности типа "книга"))
А в предоставленной ссылке утверждение Юдковского, что текстового канала связи достаточно, чтобы супер ИИ вышел из под контроля.
Там же результат эксперимента, где он играл роль ИИ, а тот, с кем он переписывался типа не должен поддаваться и выпускать его. В обоих случаях "ИИ" в итоге был выпущен.
Но разумеется, это пропаганда, Юдковски не является супер И, ему не уговорить Серьёзно настроенного не выпускать человека.

>"людей, пишущих про возможность уничтожения 50% населения Земли"
Поступать гуманно - значит выполнять чью-то ценность. А в чём она состоит? - Вопрос до сих пор толком не решённый. Рассматривая этот вариант, я выбрал спасение как можно большего числа людей.(пока никто не спасался)
PS: если истина состоит в том, что ты не нужен и самым логичным решением является аннигилировать, то такую "истину" похоже что следует перепроверять до бесконечности, исправить-то такой шаг, если что - невозможно, и "если что" само не появится, нужно продолжать захватывать материю во вселенной, чтобы всякие там инопланетяне не мешали проводить исследования по поводу того, а равно ли 2*2 четыре))