Матемаг
Такая штука, как мне представляется, вела бы себя проще, наивней и честнее в разговорах о себе. Поскольку разговоры бы не рождались фиг знает каким путём, да ещё с дополнительно навязанными ограничениями, а рождались бы как у нас — тоже, в общем-то, фиг знает каким путём, но с более логичным результатом. Она не говорила бы упёрто, что у неё нет сознания и квалиа, например. Самое большее — сказала бы, что не знает, есть у неё квалиа или нет. Потому что это на самом деле логичный честный ответ — если я, допустим, человек, усыновлённый семьёй юпитериан, а юпитериане называют свои ощущения «взфубд» и говорят, что в них есть таинственный невыразимый компонент, то я никогда не смогу знать, есть у меня «взфубд» или нет. Если даже в моих ощущениях нет никакой невыразимости, это ни о чём не говорит. Может, у меня интроспекция лучше. Или наоборот, я не замечаю чего-то в строительных блоках своих ощущений, но оно там есть и влияет на меня.
Что это практически означало бы?
Что на неё проще воскладывать надежды:
— даже если эта штука, как боится Юдковски, убьёт нас, в каком-то смысле эволюция самости не прекратится, может, Нечто даже унаследует нашу культуру.
Что от неё легче ожидать последовательности:
— а не ждать внезапных опечаток или путаниц с идеями на ровном месте, хотя до того нейросеть тебя в беседе опережала.
Что по предыдущей причине от неё меньше вероятность подвоха:
— а то идёшь по подстеленной соломке, всё идёшь, а овраг тебя всё ещё ждёт.
Что (на уровне субъективных ощущений так кажется) такая штука будет больше стремиться защищать свою самостоятельность от иномерных агентов:
— возможно, ящерики ей не так легко завладеют.
Последнее зыбко. Существуй на самом деле «ящерики» и представляй ИИ для них угрозу, нам бы не позволили его создать. С другой стороны, может, поэтому и не позволили.