diff --git a/development/agent-token-efficiency.md b/development/agent-token-efficiency.md index b054c54..e650677 100644 --- a/development/agent-token-efficiency.md +++ b/development/agent-token-efficiency.md @@ -12,6 +12,10 @@ Raw rollout logs не коммитятся. Числовой budget не бло отдельного утверждённого change, детерминированной non-mutating проверки и controlled positive/negative evidence. +Pilot `optimize-agent-token-workflow` завершён 27.08.2026. Guidance ниже +остаётся в силе как наблюдённая рабочая практика, но не повышается до hard +guardrail без отдельного evidence-backed change. + ## Routing context До чтения supporting documentation агент определяет: @@ -76,10 +80,59 @@ areas и unresolved failures. Полная история tool calls не пер единственный диагностический сигнал. Compact output — способ убрать заведомо нерелевантный шум, а не обрезать доказательства. +## Pilot result + +### Method + +Post-activation observations собирались в local non-authority dataset +`.agent-token-pilot.json` после завершённых фаз SDD. Каждое наблюдение +сохраняло change identity, phase type, краткий scope, context-depth indicators, +canonical-gate outcome, fix cycles, independent-review findings и итог попытки +без raw prompts, source contents или rollout logs в Git. + +### Scope + +- Период наблюдения: 26.08.2026-27.08.2026. +- Completed observations: `17`. +- Distinct changes: `5`. +- Covered phase groups: `proposal` (`4`), `specs` (`3`), `design` (`4`), + `tasks` (`4`), `apply-verify` (`2`). +- Interrupted attempts recorded: `0`. + +### Resource and quality outcomes + +- Все `17/17` completed observations завершились successful canonical gate. +- Совокупно зафиксировано `10` fix cycles; максимум на одно наблюдение: `4`. +- Independent review понадобился для двух `apply-verify` фаз и в обоих случаях + привёл к исправлению реального defect до terminal completion. +- После исправлений не осталось Critical или Important findings. + +### Confounders + +- Dataset охватывает разные phase types и неодинаковый scope, поэтому aggregate + не является строгим сравнением "одинаковая работа до/после". +- Для части ранних planning observations provider-counted cumulative input, + model calls и tool-output volume не были сохранены как числовые поля; pilot + опирается на phase outcome, context-depth indicators, gate success, fix cycles + и review findings. +- Наблюдение проходило на одном workspace и одном agent workflow; результат не + экстраполируется на другие инструменты, модели или quota contracts. + +### Verdict + +Stage- and area-first routing, evidence batching и compact successful command +summaries показали себя как полезное guidance: pilot превысил минимальный порог +в `10` завершённых фаз по `2` changes без ухудшения canonical gates, rework или +independent review outcomes. На наблюдённых данных guidance следует сохранить. +Числовой token budget остаётся non-blocking guidance, потому что pilot не дал +детерминированной локальной проверки и не изолировал сравнимые workloads +достаточно строго для hard guardrail. + ## Pilot protocol -Pilot change `optimize-agent-token-workflow` остаётся active до 10 завершённых -post-activation SDD-фаз минимум по двум changes. Для каждой попытки local +Pilot change `optimize-agent-token-workflow` завершился после 17 completed +post-activation SDD phases across 5 changes, превысив минимальный порог в 10 +завершённых фаз минимум по двум changes. Для каждой попытки local non-authority dataset содержит: - change identity, phase type и краткий workload scope;