лена сырбу, токен - это единица информации, грубо говоря.
Вся поступающая нейросети информация конвертируется в токены, будь то слова, буквы, числа, цифры, изображения или фрагменты изображения.
Работа нейросети - найти частотное соответствия между заданными ей токенами и известными ей токенами и составить на основе этого соответствия ответ.

Если очень примерно, как один гуманитарий другому