watcher125
Мне так не кажется. Я просто не вижу логических причин, почему разум должен обязательно стремиться пойти против основ своей же собственной мотивации.

То, что люди иногда идут против инстинкта самосохранения или инстинкта размножения, по-моему, просто доказывает, что не эти мотивации у нас самые главные. Может быть, у нас вообще нет Крупных Главных Мотиваций, которые были бы просто формулируемы двумя-тремя фразами навроде законов роботехники, а вместо этого есть возникшие в результате эволюции тысячи мелких скриптов — которые к тому же слегка индивидуальны в зависимости от генов, а то и могут меняться в течение жизни.

Но это не значит, что нельзя создать искусственный разум с чёткими и краткими правилами, которых он никогда не захотел бы нарушить. Хотя вряд ли это может быть что-то вроде законов роботехники. В тех присутствует «проблема абстрактных понятий» — никто не может сказать чётко, что есть «человек», «приказ» или «вред». Очень может быть, что этих понятий вообще нет в чётком виде даже внутри нашего подсознания, а нам только кажется, что они существуют.