Токены — фундамент работы языковых моделей. Именно через них ИИ понимает текст, рассчитывает стоимость генерации и определяет, сколько информации помещается в контекст. Это маленькие элементы, из которых строится любой запрос.
Короткое определение
Токен — это маленький фрагмент текста, который модель рассматривает как отдельную единицу. Токеном может быть целое слово, часть слова или символ. LLM обрабатывает текст не посимвольно и не пословно, а именно токенами.
Подробное объяснение
Когда вы пишете запрос, модель сначала не понимает его как цельную фразу. Она пропускает текст через токенизатор — инструмент, который делит запись на маленькие части. Эти части и становятся токенами, которые модель использует для анализа и генерации ответа.
Токенизация происходит по правилам, которые зависят от конкретной модели. Некоторые делят текст по словам, другие — по отдельным слогам или буквосочетаниям. В русском языке токены часто оказываются короче, потому что язык морфологически сложный.
Модель «читает» токены последовательно, определяет связи между ними и на основе этого предсказывает следующий токен. Из этих предсказаний и собирается готовый текст — ответ.
Количество токенов напрямую связано с ограничением контекста: модели могут обработать только определённое их число за один запрос. Отсюда возникают ограничения длины для вопросов, документов и диалогов.
Токены важны и с практической стороны: стоимость API-запросов в LLM чаще всего рассчитывается именно по количеству токенов, а не букв или слов. Чем длиннее текст — тем больше токенов — тем выше цена.
В разных экосистемах токенизация работает по-своему. В GPT используется собственный токенизатор (tiktoken), в GigaChat — своя русскоязычная схема, в YandexGPT — адаптация под русскую морфологию. От этих различий зависит качество обработки текста.
Примеры использования
- Оценка стоимости запроса к модели (цена зависит от числа токенов).
- Понимание ограничения контекста — сколько текста можно отправить модели.
- Оптимизация промптов для уменьшения токенов и ускорения генерации.
- Анализ больших документов — разбиение на токены перед подачей в модель.
- Работа поисковых и рекомендательных систем, где текст превращается в токены для дальнейшего анализа.
Связанные термины
- Токенизация (Tokenization)
- LLM
- Контекстное окно
- Параметры модели
- Inference
- Embedding