docs: publish token workflow pilot result
This commit is contained in:
@@ -12,6 +12,10 @@ Raw rollout logs не коммитятся. Числовой budget не бло
|
||||
отдельного утверждённого change, детерминированной non-mutating проверки и
|
||||
controlled positive/negative evidence.
|
||||
|
||||
Pilot `optimize-agent-token-workflow` завершён 27.08.2026. Guidance ниже
|
||||
остаётся в силе как наблюдённая рабочая практика, но не повышается до hard
|
||||
guardrail без отдельного evidence-backed change.
|
||||
|
||||
## Routing context
|
||||
|
||||
До чтения supporting documentation агент определяет:
|
||||
@@ -76,10 +80,59 @@ areas и unresolved failures. Полная история tool calls не пер
|
||||
единственный диагностический сигнал. Compact output — способ убрать заведомо
|
||||
нерелевантный шум, а не обрезать доказательства.
|
||||
|
||||
## Pilot result
|
||||
|
||||
### Method
|
||||
|
||||
Post-activation observations собирались в local non-authority dataset
|
||||
`.agent-token-pilot.json` после завершённых фаз SDD. Каждое наблюдение
|
||||
сохраняло change identity, phase type, краткий scope, context-depth indicators,
|
||||
canonical-gate outcome, fix cycles, independent-review findings и итог попытки
|
||||
без raw prompts, source contents или rollout logs в Git.
|
||||
|
||||
### Scope
|
||||
|
||||
- Период наблюдения: 26.08.2026-27.08.2026.
|
||||
- Completed observations: `17`.
|
||||
- Distinct changes: `5`.
|
||||
- Covered phase groups: `proposal` (`4`), `specs` (`3`), `design` (`4`),
|
||||
`tasks` (`4`), `apply-verify` (`2`).
|
||||
- Interrupted attempts recorded: `0`.
|
||||
|
||||
### Resource and quality outcomes
|
||||
|
||||
- Все `17/17` completed observations завершились successful canonical gate.
|
||||
- Совокупно зафиксировано `10` fix cycles; максимум на одно наблюдение: `4`.
|
||||
- Independent review понадобился для двух `apply-verify` фаз и в обоих случаях
|
||||
привёл к исправлению реального defect до terminal completion.
|
||||
- После исправлений не осталось Critical или Important findings.
|
||||
|
||||
### Confounders
|
||||
|
||||
- Dataset охватывает разные phase types и неодинаковый scope, поэтому aggregate
|
||||
не является строгим сравнением "одинаковая работа до/после".
|
||||
- Для части ранних planning observations provider-counted cumulative input,
|
||||
model calls и tool-output volume не были сохранены как числовые поля; pilot
|
||||
опирается на phase outcome, context-depth indicators, gate success, fix cycles
|
||||
и review findings.
|
||||
- Наблюдение проходило на одном workspace и одном agent workflow; результат не
|
||||
экстраполируется на другие инструменты, модели или quota contracts.
|
||||
|
||||
### Verdict
|
||||
|
||||
Stage- and area-first routing, evidence batching и compact successful command
|
||||
summaries показали себя как полезное guidance: pilot превысил минимальный порог
|
||||
в `10` завершённых фаз по `2` changes без ухудшения canonical gates, rework или
|
||||
independent review outcomes. На наблюдённых данных guidance следует сохранить.
|
||||
Числовой token budget остаётся non-blocking guidance, потому что pilot не дал
|
||||
детерминированной локальной проверки и не изолировал сравнимые workloads
|
||||
достаточно строго для hard guardrail.
|
||||
|
||||
## Pilot protocol
|
||||
|
||||
Pilot change `optimize-agent-token-workflow` остаётся active до 10 завершённых
|
||||
post-activation SDD-фаз минимум по двум changes. Для каждой попытки local
|
||||
Pilot change `optimize-agent-token-workflow` завершился после 17 completed
|
||||
post-activation SDD phases across 5 changes, превысив минимальный порог в 10
|
||||
завершённых фаз минимум по двум changes. Для каждой попытки local
|
||||
non-authority dataset содержит:
|
||||
|
||||
- change identity, phase type и краткий workload scope;
|
||||
|
||||
Reference in New Issue
Block a user