Кьювентри
Это не так работает. Никаких "параметров поиска" там нет. Вводом является весь (вероятно, модифицированный) текст переписки. Выводом - следующий токен. Следующим вводом - снова весь текст плюс появившийся токен. И так далее. Интересным моментом является то, что трансформер такого типа не следует вероятности следующего токена, которая могла бы в него быть залита. Нет, токенов и связей между ними слишком много - вместо этого даётся предсказание вероятности, что гораздо более интересная штука. Как ты видишь, никакого поиска здесь нет. Конфликтов, кстати, тоже никаких нет. Просто токен за токеном. А вариация ответа достигается тем, что разрешается использовать не только самые вероятные (т.е. предсказанно вероятные, а не обязательно вероятные в статистическом смысле) следующие токены, вводится разброс и с какой-то вероятностью (уже захардкорженной... хотя хз, может, от чего-то зависящей, я не специалист) выбирается один из вероятных ответов - не обязательно самый. Соответственно если GPT шутит вместо серьёзного ответа - это означает, что сработал рандом, который встроен внутрь и который заставил пойти по менее вероятной цепочке токенов. Кроме того, любая цепочка токенов, составленная с помощью предсказания вероятностей, вообще говоря, может быть галлюцинацией, но это совершенно отдельный вопрос.

Ну теперь ты знаешь, что это не приоритет, а подброшенная внутри программы монетка:) С помощью какой-то псевдослучайной последовательности, ага (потому что часто генерить "настоящие" случайные числа дорого).

Вообще говоря, я бы не сказал, что "применять что-то" здесь употребимо, думаю, понимаешь, почему.

Наши ощущения собраны в целое. Думаю, ты и сама это можешь увидеть в любой момент. По сути, соединённые в восприятия ощущения, изменяющиеся в течение какого-то времени представляют собой, ну, модель. Другое дело, что если мы отрицаем свою способность к логике и моделированию, то они могут НЕ представлять модель, но при этом ОЩУЩАТЬСЯ моделью. Т.е. ну типа как смотришь на графин, а он ощущается дождём. Понимаешь, о чём я? Посему любое ощущение собственной логики, любая цельность восприятия и пр. легко опровергаются тем, что они могут только ощущаться таковыми. Здесь уже один шаг до безумия.

*пожатие плечами* Чувак что именно подразумевает под истиной? Я лично хз, но между нашими ощущениями/восприятием и "реальностью" есть довольно хорошее соответствие. Потому что это, ну, типа, способствует выживанию? Знать, где еда, где вода, где опасный хищник, а где жертва - это, ну, эволюционно. Да, наши рецепторы предоставляют более узкий спектр, чем могли бы, но это не означит, что он весь из себя такой ложный. Да, в нашем мозгу есть баги и фичи, которые дополнительно искажают сигналы от органов чувств. Но в целом, эм, хз, о чём ты и о чём тот чувак, но мы вполне адекватно воспринимаем реальность.
...интересно, этот чувак вообще в курсе, что в науке не принято манипулировать такими штуками как "истинная реальность", вместо этого используются вероятные модели? Судя по твоей цитате - не в курсе. Удивительное рядом. А наука изучает, прежде всего, "как". И потом, на сдачу, может иногда объяснить "что".

Там настоящий огрызок логики/математики, который можно извлечь из языка. На самом деле, очень круто, что из языка можно извлечь настолько много.