Вот как раз недавно читал статью про объем контекста у языковых моделей. Там автор пытался локальному Deepseek скормить "Лабиринт Отражений" Лукьяненко. Так вот в стоковом режиме, ему не хватило 40хх на 16 гигов, чтобы уместить в контекст всю книгу. Пришлось очень сильно допиливать руками и, упрощая, увеличивать память в ущерб качеству ответов и даже так она думала довольно долго.
Так-что подобное веселье станет массово-доступным лишь с кратным увеличением памяти в системах.