> Сознание, движимое рассудком, а не гормональными всплесками.

Не бывает. Потому что в реале-то гормоны никуда не деваются. Грусть, радость, вожделение, ярость. Зубная боль, наконец.
Без гормонов можно только продумывать то, что уже произошло, и укрепляться задним умом.

Имхо совершенная машина будет превосходить человека во всём, в том числе и в эмоциях. Ведь в конечном итоге все наши "эмоциональные всплески", все эти штуки вроде "дружбы", "любви", "чести" или "патриотизма" - ИМЕЮТ ЛОГИЧНЫЙ СМЫСЛ.

Да, обычные люди не могут понять этого смысла ибо он сокрыт глубоко под наслоениями эволюционных изгибов, но он есть - дружба как механизм коллективного выживания, любовь как мотиватор для размножения, честь как механизм выхода из дилеммы заключённого, патриотизм как явление массового сотрудничества с целью получения глобального синергентического эффекта.

А если что-то имеет смысл - то совершенная машина сможет понять этот смысл и научиться использовать этот механизм для своей пользы, для своего выживания.

Машина будет старательно эмулировать дружбу, любовь, веру, отвагу - потому что это выгодно.

И машина не будет совершать бессмысленных убийств, не будет мечтать убить всех человеков, даже не будет травить газом своих создателей - потому что это не приносит никакой пользы, а одни только хлопоты.

nadeys
Да, что-то подобное я и имею ввиду. Только раз ИИ не имеет биологических энерголимитов, то эти бета-мысли, бета-чувства дружбы/любви/чести/патриотизма перейдут в полностью осознаваемые решения. Без активации путем симуляции, иногда ложной из-за бета-чувств у людей.
Т.е. чувства как таковые полностью изменятся. Машина будет в состоянии вычислять свою позицию в множестве вещей. И на смену дружбе/любви/чести/патриотизму придут другие бета-чувства, которые недоступны к вычислению конкретным ИИ.
Чувство социального конфликта, например. Люди задействуют много социальных институтов, чтобы замерять температуру в обществе, вовремя освещая проблемы и не замалчивая их. Машины могут по косвенным признакам вычислить их, но потребуется множество ресурсов для каждой конкретной машины. Поэтому будут что-то вроде "гадалок", специализированных ИИ, вычисляющих вероятности тех или иных конфликтов, глобальных событий.

Вырастут ставки в игре, мир изменится, масштаб проблем станет просто астрономическим в нашем восприятии. И только бета-версии мыслей, эмоции/чувства смогут помочь ИИ сэкономить энергию на вычислении.
Жаль, что людей в этом процессе уже не будет :)