Контекст — это основа понимания для любой языковой модели. Он задаёт рамку задачи, помогает связать фразы между собой и определяет, как именно модель будет интерпретировать ваш запрос.
Короткое определение
Контекст — это набор данных, который модель использует при генерации ответа. Это может быть история диалога, описание задачи, фрагмент документа, правила, инструкции или любая другая информация, доступная внутри запроса.
Подробное объяснение
Языковые модели не имеют постоянной памяти. Каждый ответ формируется только на основании того контекста, который включён в запрос или содержится в пределах текущего диалога. Всё, что модель знает на момент генерации, — это текст внутри её контекстного окна.
Чем богаче контекст, тем точнее модель понимает задачу. Если указать роль, правила, формат ответа и ключевые данные, результат будет структурированным и близким к ожиданиям. Без контекста модель часто заполняет пробелы догадками.
Контекст важен не только для диалогов. При анализе документа модель получает в качестве контекста сам текст файла. При генерации кода — исходный фрагмент программы. При решении задач — формулировку и условия.
У любой модели есть ограничение — длина контекстного окна. Это максимальное количество токенов, которые она может учитывать одновременно. Если текст слишком большой, его приходится сокращать, разбивать или суммаризировать.
Современные LLM расширили возможности контекста до сотен тысяч или даже миллионов токенов. Это позволяет анализировать длинные отчёты, юр-документы, большие базы знаний и вести полноценные диалоги без потери важной информации.
В разных экосистемах — GPT, Claude, GigaChat, YandexGPT — работа с контекстом устроена похожим образом, хотя максимальная длина и качество обработки могут отличаться в зависимости от архитектуры.
Ключевая мысль проста: модель понимает ровно столько, сколько вы включили в контекст. Чем точнее и аккуратнее сформирована эта часть запроса, тем понятнее модель воспринимает задачу и тем лучше строит выводы.
Примеры использования
- Передача истории диалога, чтобы ответы были связными.
- Отправка текста договора для анализа пунктов и рисков.
- Добавление технического задания перед генерацией кода.
- Использование примеров в промпте для выравнивания стиля.
- Подача больших PDF-файлов в виде контекста для суммаризации.
- Описание роли и правил, чтобы задать манеру ответа.
Связанные термины
- Контекстное окно
- Промпт
- Токен
- Токенизация
- LLM
- Reasoning
- Inference