Торговец твилечками, ну ты не прав. Это не частотный, а метачастотный анализ, соответственно поэтому оно и может генерировать никогда не встречавшиеся раньше реплики, причём они будут звучать не бредом (ну, в большинстве случаев). Т.е. вместо предсказания, какой токен должен быть дальше, оно предсказывает вероятности по возможным токенам, а уже зачем схлопывает их до самих токенов. Поэтому, да, можно говорить о том, что извлекаются какие-то закономерности. Это не втупую Т9, это очень умный Т9. Частотным анализом ты никак не научишь генерить фразы на смеси двух языков, потому что юзер так попросил или потому что юзер на такой смеси сам начал говорить.