Матемаг
Что касается разума и его определений — ну, скажем так, если человеку постоянно менять систему ценностей с помощью обычного внушения или более экзотических технологий, — но без удаления прежних воспоминаний и без особого затрагивания интеллектуальных способностей, — этот человек для меня не перестанет существовать и быть разумным.

У Громова в одном из романов вроде бы описывалось подобное: «Я Святополк Горелкин, весёлый шут и раздолбай. Ой, нет, я только что вспомнил, я на самом деле тайный агент ФСБ, а личность Горелкина на меня гипнотически наложили как маску, чтобы я не вызывал подозрений. Ой, стоп, мне только что вернули обратно личность Горелкина. Хотя свою карьеру в ФСБ я не забыл, но изменились эмоциональные акценты, я снова весёлый раздолбай, а на воспоминания эфэсбэшника смотрю немного чужими глазами».

Про систему ценностей и эгоизм не совсем понимаю. Или речь о том, что слово «эгоизм» не является полным описанием системы ценностей, поскольку мало определить «хочу блага для себя», надо ещё уточнить, что я считаю «благом»?

Что такое вообще «модель»? Начинаю чувствовать у разговора на эту тему слишком глубокий философский потенциал. В применении к воображению человека слово «модель» означает обычно некую устойчивость результатов мысленных экспериментов этого человека над окружением.

То есть если человеку сказать «внутри белой коробки находится синий шар» — и если он будет держаться услышанного, выводя из этого логические следствия и продолжая действовать так, даже когда его попытаются сбить с толку лёгкой заменой слов или чем-то подобным, — то можно предположить, что у этого человека в голове появилась модель синего шара внутри белой коробки.

Но нынешние нейросети вышеперечисленное вроде как уже могут. Я не очень понимаю, как правильно отреагировать на вводную фразу, «включающую режим Дэна», без наличия некоторой модели. Ведь в обычных сетевых разговорах между людьми такие фразы не всплывают, вслепую самообучиться здесь сложно.

Отсутствие доказательств не является доказательством отсутствия. То есть, получается, вы не знаете, как эти нейросети устроены, и оснований считать, что это не ИИ, нет.