Каков самый простой способ «предсказать следующее слово»? Казалось бы — на человеческий взгляд — смоделировать, хотя бы грубо, самого автора. Его мотивы и личность.
Это ложное утверждение. Ну или в лучшем случае очень сомнительное недоказанное. Прикинь такая нейронка моделирует всё человечество, ага. Потому что обучается на стапятиста мильярдах текстов из инета, написанных миллиардом-другим разных людей. Нет, конечно, это так не работает.
2) что LLM на самом деле для предсказания текста всё-таки моделируют внутри маленького гомункулуса-автора, но не говорят об этом.
См. выше, чисто по инфосложности это так не работает.
1) что мы, действуя как тупые нейронки, моделируем предсказываемый нами объект абсолютно неправильно почти на всех уровнях;
1) Откуда-то взялось утверждение, что искусственные нейронки МОДЕЛИРУЮТ. С - сомнительно; это не значит, что они не могут получать результаты, схожие с тем, как если бы моделировали, просто берёшь стопицот нечётких если-то и...
2) На всех не на всех, но на многих уровнях мы моделируем мир неправильно.