docs: publish token workflow pilot result
This commit is contained in:
@@ -12,6 +12,10 @@ Raw rollout logs не коммитятся. Числовой budget не бло
|
|||||||
отдельного утверждённого change, детерминированной non-mutating проверки и
|
отдельного утверждённого change, детерминированной non-mutating проверки и
|
||||||
controlled positive/negative evidence.
|
controlled positive/negative evidence.
|
||||||
|
|
||||||
|
Pilot `optimize-agent-token-workflow` завершён 27.08.2026. Guidance ниже
|
||||||
|
остаётся в силе как наблюдённая рабочая практика, но не повышается до hard
|
||||||
|
guardrail без отдельного evidence-backed change.
|
||||||
|
|
||||||
## Routing context
|
## Routing context
|
||||||
|
|
||||||
До чтения supporting documentation агент определяет:
|
До чтения supporting documentation агент определяет:
|
||||||
@@ -76,10 +80,59 @@ areas и unresolved failures. Полная история tool calls не пер
|
|||||||
единственный диагностический сигнал. Compact output — способ убрать заведомо
|
единственный диагностический сигнал. Compact output — способ убрать заведомо
|
||||||
нерелевантный шум, а не обрезать доказательства.
|
нерелевантный шум, а не обрезать доказательства.
|
||||||
|
|
||||||
|
## Pilot result
|
||||||
|
|
||||||
|
### Method
|
||||||
|
|
||||||
|
Post-activation observations собирались в local non-authority dataset
|
||||||
|
`.agent-token-pilot.json` после завершённых фаз SDD. Каждое наблюдение
|
||||||
|
сохраняло change identity, phase type, краткий scope, context-depth indicators,
|
||||||
|
canonical-gate outcome, fix cycles, independent-review findings и итог попытки
|
||||||
|
без raw prompts, source contents или rollout logs в Git.
|
||||||
|
|
||||||
|
### Scope
|
||||||
|
|
||||||
|
- Период наблюдения: 26.08.2026-27.08.2026.
|
||||||
|
- Completed observations: `17`.
|
||||||
|
- Distinct changes: `5`.
|
||||||
|
- Covered phase groups: `proposal` (`4`), `specs` (`3`), `design` (`4`),
|
||||||
|
`tasks` (`4`), `apply-verify` (`2`).
|
||||||
|
- Interrupted attempts recorded: `0`.
|
||||||
|
|
||||||
|
### Resource and quality outcomes
|
||||||
|
|
||||||
|
- Все `17/17` completed observations завершились successful canonical gate.
|
||||||
|
- Совокупно зафиксировано `10` fix cycles; максимум на одно наблюдение: `4`.
|
||||||
|
- Independent review понадобился для двух `apply-verify` фаз и в обоих случаях
|
||||||
|
привёл к исправлению реального defect до terminal completion.
|
||||||
|
- После исправлений не осталось Critical или Important findings.
|
||||||
|
|
||||||
|
### Confounders
|
||||||
|
|
||||||
|
- Dataset охватывает разные phase types и неодинаковый scope, поэтому aggregate
|
||||||
|
не является строгим сравнением "одинаковая работа до/после".
|
||||||
|
- Для части ранних planning observations provider-counted cumulative input,
|
||||||
|
model calls и tool-output volume не были сохранены как числовые поля; pilot
|
||||||
|
опирается на phase outcome, context-depth indicators, gate success, fix cycles
|
||||||
|
и review findings.
|
||||||
|
- Наблюдение проходило на одном workspace и одном agent workflow; результат не
|
||||||
|
экстраполируется на другие инструменты, модели или quota contracts.
|
||||||
|
|
||||||
|
### Verdict
|
||||||
|
|
||||||
|
Stage- and area-first routing, evidence batching и compact successful command
|
||||||
|
summaries показали себя как полезное guidance: pilot превысил минимальный порог
|
||||||
|
в `10` завершённых фаз по `2` changes без ухудшения canonical gates, rework или
|
||||||
|
independent review outcomes. На наблюдённых данных guidance следует сохранить.
|
||||||
|
Числовой token budget остаётся non-blocking guidance, потому что pilot не дал
|
||||||
|
детерминированной локальной проверки и не изолировал сравнимые workloads
|
||||||
|
достаточно строго для hard guardrail.
|
||||||
|
|
||||||
## Pilot protocol
|
## Pilot protocol
|
||||||
|
|
||||||
Pilot change `optimize-agent-token-workflow` остаётся active до 10 завершённых
|
Pilot change `optimize-agent-token-workflow` завершился после 17 completed
|
||||||
post-activation SDD-фаз минимум по двум changes. Для каждой попытки local
|
post-activation SDD phases across 5 changes, превысив минимальный порог в 10
|
||||||
|
завершённых фаз минимум по двум changes. Для каждой попытки local
|
||||||
non-authority dataset содержит:
|
non-authority dataset содержит:
|
||||||
|
|
||||||
- change identity, phase type и краткий workload scope;
|
- change identity, phase type и краткий workload scope;
|
||||||
|
|||||||
Reference in New Issue
Block a user