|
сегодня в 16:49
|
|
|
Грызун
Ну, видимо нейронка действительно не видит разницы между языками. Не видит так, как люди. Она вообще не слова видит, а набор токенов, к которым потом привязываются абстрактные векторы в "скрытом пространстве". Причём токен это не обязательно одно слово. И так, как мы бы разбили слово на токены, нейронки тоже не делают, у них там свои соображения.Кстати, из-за токенизирования абсолютно бесполезно говорить нейронке что-нибудь вроде: "Посчитай в абзаце количество букв «и»". Она не может, потому что на отдельные буквы (как правило) нет своего токена. Если кто-то это предусмотрел и добавил какие-нибудь навыки или подпрограммы, которые она запустит для решения такой задачки, тогда сможет. Но "из коробки" не сможет. Если кому интересно, советую статью: https://habr.com/ru/companies/selectel/articles/1068446/ 1 |
|