Кстати, попутно вспомнил старую историю с дизельгейтом и Фольксвагеном, и задумался: а можно ли сделать так, чтобы модель как-то догадывалась, что ее сейчас тестируют, по каким-то малозаметным для постороннего знакам и отвечала специально "лучше"? Вероятно, можно. Но я в этом совсем не уверен.

Ещё кстати, можно попробовать проверить гипотезу, что модель уже сейчас как-то отличает человеческого и нечеловеческого пользователя и отвечает им слегка по-разном. Может ли такое поведение возникнуть самопроизвольно?

Как раз начинает это появляться. Люди сейчас работают над тем чтобы они перестали это делать, так как это путает все тесты если модель специально пытается сказать то что вы хотите слышать в этом конкретном тесте.

Еще они используют такой забавный язык когда рассуждают, и потом дают тебе ответ по нормальному. Представь, миллионы вот таких монологов идут параллельно на дата центре