Температура генерации — один из ключевых параметров, который определяет характер ответа модели. Она регулирует, будет ли нейросеть придерживаться самых вероятных вариантов или позволить себе экспериментировать и искать необычные решения.
Короткое определение
Температура генерации — это параметр, который влияет на степень вариативности в работе модели. Низкая температура повышает точность и предсказуемость, а высокая добавляет креативность, риск и неожиданные формулировки.
Подробное объяснение
Когда модель генерирует текст, она не выбирает следующий токен строго по одному правилу. Она рассматривает множество возможных вариантов и распределяет между ними вероятности. Температура определяет, насколько модель будет отклоняться от самого вероятного варианта.
При температуре около 0.0–0.3 модель выбирает наиболее предсказуемые продолжения. Такие настройки подходят для задач, где важна точность: анализ документов, код, резюме, инструкции.
Значения около 0.7–1.0 делают генерацию разнообразнее. Модель может предложить новые формулировки и менее очевидные идеи — полезно для креатива, мозговых штурмов, сценариев и поисковых концепций.
При температуре выше 1.0 ответы становятся ещё более вариативными. Модель может «отпускать» структуру, экспериментировать со стилем и тональностью. Это может быть полезно для художественных задач, но снижает точность.
Температура не делает модель умнее или глупее — она просто по-разному распределяет вероятности. Правильно подобранная температура помогает адаптировать поведение модели под конкретную задачу.
В разных экосистемах температура работает одинаково: в GPT, Claude, GigaChat, YandexGPT. Однако эффект может различаться из-за специфики обучающих данных и способов выбора токенов.
Разработчики часто комбинируют температуру с другими параметрами: top-p, top-k, penalties для повторов. Вместе они позволяют тонко контролировать стиль и качество генерации.
Примеры использования
- Температура 0.2 — точное переписывание текста без отклонений.
- Температура 0.4 — структурированные ответы для аналитики и инструкций.
- Температура 0.7 — поиск идей, расширение вариантов, подбор формулировок.
- Температура 1.0 — творческие задачи: сценарии, концепции, художественные тексты.
- Температура 1.2 — генерация неожиданного контента и нестандартных решений.
Связанные термины
- Top-p (nucleus sampling)
- Top-k sampling
- Промпт
- Inference
- LLM
- Токен
- Параметры модели