Нейросеть вообще не обучается во время разговора с пользователем, такая архитектура. Можно обучить когда-нибудь после, на основе этих данных. Но она учитывает всё, о чем они сейчас говорили, с поправкой на пределы контекстного окна. Что вышло за его пределы - моментально забывается. В целом, это позволяет в какой-то степени изобразить "обучение". Ещё, насколько я помню, архитектура внимания в трансформерах такова, что наибольшее влияние на ответ оказывает именно последнее сказанное (и нейросетью, и человеком). Поэтому ИИ так охотно перестраивается и меняет показания, следуя критике.