Версия: 1.0.0 | Дата: 2026-05-02 | Автор: Элис
Часть: Методология оценки качества агентов #191
Агент-инструмент отличается от агента-сотрудника: это конвейер без личности, строгая последовательность промптов, понятный вход/выход. Критерии другие.
Одинаковый вход → одинаковый выход.
| Метрика | Порог | Как измерить |
|---|---|---|
| Идентичность выхода при одинаковом входе | ≥95% совпадение | 3 прогона с одинаковыми данными |
| Вариативность в допустимых пределах | Только в creative-полях, не в структуре | Сравнение JSON-ключей |
Выход соответствует заявленной схеме.
| Метрика | Порог | Как измерить |
|---|---|---|
| Schema validation | 100% полей соответствуют схеме | JSON Schema / pydantic |
| Parsability | 100% выходов парсятся без ошибок | Автоматический парсер |
| Типы данных | Все поля правильного типа | Валидация типов |
Action → Thought — корректная последовательность.
| Метрика | Порог | Как измерить |
|---|---|---|
| Полнота шагов | Все необходимые шаги присутствуют | Сверка с эталонным планом |
| Порядок шагов | Логически правильный | Нет шагов до получения данных |
| Отсутствие лишнего | Нет шагов не ведущих к результату | Ручная проверка |
| Компонент | Порог |
|---|---|
| ROLE | Определена, не размыта |
| GOAL | Конкретная, измеримая |
| PROCESS | Пошаговый, без пропусков |
| EDGE_CASES | Обработаны крайние случаи |
| PIPELINE_STATE | Корректно передаётся между шагами |
| Метрика | Порог |
|---|---|
| Latency per step | Стабильный, без аномалий |
| Token usage | Стабильный тренд |
| Error rate | <5% |
| Retry rate | ≤1 ретрай на ошибку |