Торговец твилечками
Мышление человека - построение комплексной, наиболее широкой (пусть иногда в деталях и менее точной, чем у узкопрофильного слабого ИИ) модели об окружающем мире (обладающей предсказательной силой итд итп). Модели основанной на всём комплексе сигналов от всех органов чувств: так сказать в координатах своего зрения, осязания и прочего. Чего у компьютерного ИИ нет.

Модели ещё и помноженной на базовые потребности организма (а это мягко говоря не простые стимулы для простых ИИ), архитектуру мозга эволюцией приспособленного к передаче генов дальше по поколениям не смотря на трудности жизни. Нейросети не хватает глубины понимания, не хватает ширины - числа перекрестных ассоциаций.

А ещё люди умеют и приспособлены учиться друг у друга, смоделировать целый социум - задача на порядки более сложная.

"Танк" - это и транспортное средство, это и нечто больших габаритов, а габариты соизмеримы с телом от которого осязание и непосредственное восприятие размера, движения как явления и пр.. Это и тктиеская единица. Много чего. А некая система весов в нейросети смотрящей на картинки: у неё разумеется нет никакого понимания.

Я тоже полагаю, что для того чтобы ИИ получил то же представление (хотя бы его, т.е. только модель, не говорю о стимулах и ценностях) об окружающем мире, он должен получить те же способы познавать окружающий мир. Не только смотреть на картинки цветов в интернете или читать о них в нём же, но и соотносить увиденное и прочитанное со своим опытом - того как цветы выглядят с разных углов (тут нужна и способность строить 3D из плоской картинки, но возникшая не на пустом месте а с опорой на верификацию - свой опыт, иначе чушь выйдет), каковы они на ощупь и запах, понимание того как реагируют люди когда их кому-то дарят, а значит и способности анализировать чужие эмоции, опирающейся на соотношение с ещё одним опытом пока что не доступным машине - иметь свои эмоции по этому же поводу.

ИИ понимающие полноценно человека и сам должен обладать пониманием как у человека (возможно включённым в более широкое и глубокое понимание, если речь о некого фантастическом ИИ невероятного уровня развития).

Но, что самое интересное: "Нет ничего более полезного, для уверенности в истинности своих познаний, чем отсутствие экзаменов..." (с). Художник те или иные экзамены в своём обществе сдаёт постоянно, ИИ обученный что-то там рисовать - нет. Вот и получается что получается.

Рассуждения же про то, что если имитация никакими инструментами не отличимая от оригинала, то не важно как она осуществляется и вообще "проходит утиный тест - утка" - это вообще другой вопрос.