Action space — совокупность всех допустимых действий, которые агент может выбрать и выполнить в текущей среде в рамках agent loop.
Определение
Action space — это формально определённое множество действий, доступных агенту на каждом шаге его работы. В LLM-агентах action space описывает, какие операции модель имеет право выполнять: вызовы инструментов, API-запросы, поиск, запись данных, генерацию текста или завершение задачи. Ограничение и точное описание action space является ключевым фактором управляемости, безопасности и предсказуемости поведения агента.
Как работает
1. Формализация действий
Каждое действие в action space задаётся структурой:
- тип действия (search, call_api, write_file, respond);
- входные параметры и их типы;
- ожидаемый результат;
- побочные эффекты;
- ограничения и разрешения.
LLM не «придумывает» новые действия, а выбирает из заранее определённого набора.
2. Дискретный и параметризованный action space
- Дискретный — конечный список действий без параметров.
- Параметризованный — действия принимают аргументы (URL, запрос, путь к файлу).
В LLM-агентах чаще используется параметризованный action space.
3. Связь с agent loop
На этапе planning модель:
- анализирует текущее состояние;
- оценивает допустимые действия;
- выбирает action из action space;
- передаёт параметры исполнителю.
Результат действия возвращается как observation для следующей итерации цикла.
4. Ограничение и безопасность
Контроль action space используется для:
- предотвращения опасных операций;
- изоляции среды выполнения;
- ограничения побочных эффектов;
- упрощения валидации поведения агента.
Чем меньше и чётче action space, тем стабильнее агент.
Где применяется
- LLM-агенты и tool-using системы.
- Автономные workflow-агенты.
- Code agents и DevOps-автоматизация.
- Conversational assistants.
- Игровые и симуляционные среды.
Практические примеры использования
В RAG-агенте action space может включать: rewrite_query, retrieve, rerank, answer. Агент не может выполнять произвольные операции вне этого набора, что снижает риск ошибок. В code agents action space часто ограничен компиляцией, запуском тестов и правкой файлов в песочнице.
В продакшене action space часто версионируется и тестируется как контракт между моделью и системой.
Ключевые свойства
- Формальное описание допустимых действий.
- Ограничение поведения агента.
- Прямая связь с безопасностью.
- Влияние на стабильность agent loop.
- Интерпретируемость решений.
Проблемы и ограничения
- Слишком широкий action space ведёт к хаотичному поведению.
- Слишком узкий — ограничивает полезность агента.
- Сложность проектирования универсальных действий.
- Рост сложности при параметризованных действиях.
- Необходимость строгой валидации входных параметров.
Преимущества и ограничения
- Плюс: управляемость и предсказуемость поведения агента.
- Минус: дополнительная архитектурная сложность.
Связанные термины
- Agent loop
- LLM agent
- Tool calling
- Planning
- Safety constraints