Очевидно проблема есть. Если ты тренишь LLM чтобы решать задачки через код, то LLM начинает пытаться читерить, искать баги в твоем коде который оценивает ее результаты. Если ты тренишь ее на оценке от человека рейтера, то она начинает пиздеть. Множество примеров этому. Вон sonnet 3.7 прославился своей тенденцией удалять юнит тесты которые не может удовлетворить, ещё и заглушки везде ставит.

Такие люди как LeCun считают что эти проблемы разрабы смогут решать быстрее чем они появляются. Юдковски и Ко считают что проблемы будут появляться быстрее чем они могут с ними справляться (или появится но скрытно, или в доменах где люди мало что понимают (e.g. asm) и не смогут заметить напрямую и тд)