Недостаток рационализма получится рациональнее достатка)
Хотя, по сути, достатка рационализма не бывает, только не у людей.

Мне, кстати, в связи со статьей еще в августе вспомнился случай из реала (мое имхо, много букв, можно пройти мимо, ничего не теряете).

Нужно было получить один документ в мэрии. Получение предполагало процедуру, которая сильно затянулась. Одновременно с этим разрабатывался законопроект, согласно которому процедура усложнилась бы настолько, что вряд ли бы я вообще получила документ.
Я к чиновнику, так и так, давайте, типа, поторопимся, а то все идет к тому, что усилия окажутся напрасными. А он мне ответил, что вопросы надо решать по мере их поступления, закон не вступил в силу, и неизвестно, вступит ли в таком виде, когда вступит и т.д., так что я нагнетаю необоснованно.
Через несколько дней закон приняли с оговоркой, что тот вступает в силу с момента опубликования.
В этот же день мне звонит чиновник и говорит, что мой документ готов и можно забрать. На следующий день закон опубликовали, а я пошла забирать бумажку, подписанную, слава Мерлину, вчера. Чиновник мне и говорит: "Поздравляю, вы успели вскочить на подножку отходящего поезда" (дословно).
Я, конечно, не столько радовалась, сколько злилась на себя. В итоге решила: в следующий раз надо действовать понастырнее, а не слушать вполне рациональные в целом рассуждения о том, что демон пока только в моем воображении.
Да, если предположить, что все было бы в точности так, как случилось, кроме того обстоятельства, что я не знала бы о законопроекте, то с этой точки зрения, я напрасно мучилась. Но все же больше вероятности, что чиновник шевельнулся в последний момент только благодаря демону в моей голове.

Есть основания предполагать, что ИИ будет дружественным только короткий промежуток времени, дружба ведь предполагает некоторую взаимность. А если ИИ перестанет нуждаться в людях, а смысл своего существования станет определять сам, то о какой дружбе идет речь?
К тому же люди слишком нерациональны. Они потребляют неоправданно много ресурсов. То есть перед ИИ вполне может встать вопрос о тотальном контроле. И что самое страшное (лично для меня), что люди в силу своей ограниченности могут не осознать, что они полностью утратили свободу воли (если предположить, что она все же есть), будут пребывать в плену искусственно созданных иллюзий (если предположить, что сейчас это не так). И т.д., рассуждать тут можно долго, да и не факт, что нужно это делать на этом ресурсе. Кстати, плюсы у ИИ, конечно, тоже есть))