Asteroid
> мы точно не знаем - какие они

Чтобы понимать базовые принципы — необязательно расписывать точно все "правила" до последнего.

Аналогия из математики: чтобы понять принцип некоторой последовательности — необязательно вычислять все конечные элементы этой последовательности, достаточно знать задающее уравнение для вычисления элементов.

> мы не знаем - действительно ли он понял материал, или всего лишь зазубрил его

Помнится, наш преподаватель по уравнениям матфизики очень эффективно это проверял: ставил задачу, которая не работает через "зазубривание", и требует работы с мета-данными (условно: без инструкции "делай по шагам", именно конкретные шаги студент должен додумать сам).

Применительно к ллм — мой пример выше: разница в выдаче с учётом и без учёта "сброса контекста" в промпте.

Если ты думаешь, что экстенсивное увеличение длины цепи токенов и/или увеличение размера обучающей выборки что-то принципиально меняет в подходе (последовательного конструирования текста по промпту) — нет, это не так. И учёт всей предыдущей выдачи вместо учёта отдельно взятого промпта — фундаментально ничего не меняет.

> А ты про сброс контекста слышал?

Обратно, буквально мой предыдущий пример.

Сам принцип "сброса контекста" — как раз наглядное свидетельство отсутствия внутреннего "мета-контроля": если самопроверки строятся на включении в промпт предыдущего контекста и могут быть однозначно "сброшены", это значит, что собственных мета-фильтров у ллм нет.

> пример того, как Соннет сразу весь булшит обнаружила

Исходя из всего предыдущего — есть серьёзные подозрения, что "обнаружила" она его не через "самопроверку", а через наличие соответствующих данных в обучающей выборке.

> И какой моделью пользуешься?

Предыдущий пример — ЧатЖПТ 4о.

Обратно, если ты считаешь, будто увеличение цепи токенов и обучение модели на другой выборке для Соннет что-то меняет принципиально в самом методе конструирования текста в ллм — это не так.