docs: publish token workflow pilot result

This commit is contained in:
2026-08-27 15:24:31 +03:00
parent 2bc56db680
commit 21ccad3639
+55 -2
View File
@@ -12,6 +12,10 @@ Raw rollout logs не коммитятся. Числовой budget не бло
отдельного утверждённого change, детерминированной non-mutating проверки и отдельного утверждённого change, детерминированной non-mutating проверки и
controlled positive/negative evidence. controlled positive/negative evidence.
Pilot `optimize-agent-token-workflow` завершён 27.08.2026. Guidance ниже
остаётся в силе как наблюдённая рабочая практика, но не повышается до hard
guardrail без отдельного evidence-backed change.
## Routing context ## Routing context
До чтения supporting documentation агент определяет: До чтения supporting documentation агент определяет:
@@ -76,10 +80,59 @@ areas и unresolved failures. Полная история tool calls не пер
единственный диагностический сигнал. Compact output — способ убрать заведомо единственный диагностический сигнал. Compact output — способ убрать заведомо
нерелевантный шум, а не обрезать доказательства. нерелевантный шум, а не обрезать доказательства.
## Pilot result
### Method
Post-activation observations собирались в local non-authority dataset
`.agent-token-pilot.json` после завершённых фаз SDD. Каждое наблюдение
сохраняло change identity, phase type, краткий scope, context-depth indicators,
canonical-gate outcome, fix cycles, independent-review findings и итог попытки
без raw prompts, source contents или rollout logs в Git.
### Scope
- Период наблюдения: 26.08.2026-27.08.2026.
- Completed observations: `17`.
- Distinct changes: `5`.
- Covered phase groups: `proposal` (`4`), `specs` (`3`), `design` (`4`),
`tasks` (`4`), `apply-verify` (`2`).
- Interrupted attempts recorded: `0`.
### Resource and quality outcomes
- Все `17/17` completed observations завершились successful canonical gate.
- Совокупно зафиксировано `10` fix cycles; максимум на одно наблюдение: `4`.
- Independent review понадобился для двух `apply-verify` фаз и в обоих случаях
привёл к исправлению реального defect до terminal completion.
- После исправлений не осталось Critical или Important findings.
### Confounders
- Dataset охватывает разные phase types и неодинаковый scope, поэтому aggregate
не является строгим сравнением "одинаковая работа до/после".
- Для части ранних planning observations provider-counted cumulative input,
model calls и tool-output volume не были сохранены как числовые поля; pilot
опирается на phase outcome, context-depth indicators, gate success, fix cycles
и review findings.
- Наблюдение проходило на одном workspace и одном agent workflow; результат не
экстраполируется на другие инструменты, модели или quota contracts.
### Verdict
Stage- and area-first routing, evidence batching и compact successful command
summaries показали себя как полезное guidance: pilot превысил минимальный порог
в `10` завершённых фаз по `2` changes без ухудшения canonical gates, rework или
independent review outcomes. На наблюдённых данных guidance следует сохранить.
Числовой token budget остаётся non-blocking guidance, потому что pilot не дал
детерминированной локальной проверки и не изолировал сравнимые workloads
достаточно строго для hard guardrail.
## Pilot protocol ## Pilot protocol
Pilot change `optimize-agent-token-workflow` остаётся active до 10 завершённых Pilot change `optimize-agent-token-workflow` завершился после 17 completed
post-activation SDD-фаз минимум по двум changes. Для каждой попытки local post-activation SDD phases across 5 changes, превысив минимальный порог в 10
завершённых фаз минимум по двум changes. Для каждой попытки local
non-authority dataset содержит: non-authority dataset содержит:
- change identity, phase type и краткий workload scope; - change identity, phase type и краткий workload scope;