Songhaoz666andClaude Opus 4.8
54cb327348
- 基准标准 v2.1：SwarmMetrics（15 字段）、τ/η/P_decision/reward 公式、对称 G_E,c（修正 C_base=1.0 退化）、Σλ=1.0 校验；新增基线对比与运行记录 schema；指标覆盖缺口分析；参考系数暂留为元数据（待量化）。 - 主控 Agent 实体（分解 / 评审决策 / 汇总）；事件契约修正（timeline.title、budget.threshold_pct、handoff 角色、task.released）+ 契约校验脚本。 - 实质性 LLM 对等回复（含降级回退）；集成契约（runtime / event / usage / audit / frontend / capability / security）；CLIENT_GUIDE 客户端指南；CI 工作流；治理与交付文档。 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
3.4 KiB
Cost-Normalized Gain（成本归一化增益）
状态：规划中（公式已对齐，ROI 评估器未落地）。
依据：Agent 蜂群指标量化与标准 v2.0 §6.2。配套：
emergence-evaluation.md、swarm-metrics-schema.md、usage-billing用量。实现：benchmark/metrics.py的cost_normalized_gain/swarm_cost。
1. 公式（v2.0 + Owner 修正 2026-06-09：对称成本归一化）
G_E,c = (Q_swarm / C_swarm) − (Q_base / C_base)
C_swarm = N_agent_swarm × (CostEfficiency_swarm / 100 + 0.5)
C_base = N_agent_base × (CostEfficiency_base / 100 + 0.5)
Q_*：质量（同 emergence-evaluation §3）。CostEfficiency：成本效率100·Budget/ActualCost（= §5.1S_cost= §4.1E_cost，同一量，Owner 裁定 v2.1）。- 判读：
G_E,c > 0表示单位成本质量优于基线；< 0表明蜂群以更高的 Agent 成本换取质量、性价比不及基线，应缩减N_agent。
✅ Owner 修正（2026-06-09）：原始 v2.0 §6.2 取
C_base = 1.0，与C_swarm ≈ O(N_agent)尺度不一致， 致使几乎任何多 Agent 蜂群G_E,c < 0（与质量无关，指标退化）。经 Benchmark Owner 裁定，改为对称归一化 （C_base用基线自身N_agent与CostEfficiency同式计算），使两项均为单位成本质量、可比。 实现为benchmark/baselines.compare的默认（symmetric_cost=True）；字面 v2.0（C_base=1.0）仅symmetric_cost=False保留参考。背景见OWNER-NOTE-cost-normalized-gain.md。
2. 目的
防止通过无限扩张 Agent 数量 / Token 获得虚假涌现增益：C_swarm 随 N_agent 线性增长，堆 Agent 会拉低 Q_swarm/C_swarm。蜂群验收不只看 G_E > 0，还要 G_E,c > 0。
3. 成本 C 口径
C 建议为单次任务集的总成本，至少包含（数据源见 usage-billing-schema）：
C = model_cost_usd（所有 task / 所有 review 重做累计）
[+ runtime / 基础设施成本，待接入]
| 成本项 | 本仓可采集 |
|---|---|
model_cost_usd（含多 Agent、多 review 重做累计） |
🟡 usage 已采集，按 swarm_id 聚合即可 |
model_tokens（token 效率视角） |
🟡 已采集 |
| 基础设施成本（cpu/memory/Pod） | 🔴 未接入账本（见 usage-billing §6） |
多 Agent / review 重做的成本已隐含累计在按
swarm_id聚合的usage中，因此C_swarm天然反映「堆 Agent / 重做」的代价——这正是G_E,c要惩罚的。
4. 衍生视角（Leaderboard）
- Token 效率：
Q / total_tokens。 - Cost Efficiency：
Q / model_cost_usd。 - Swarm ROI：
G_E,c本身。
5. 实现状态
| 组件 | 状态 |
|---|---|
usage 成本聚合（按 swarm_id） |
🟡 数据具备，无聚合器 |
| 成本归一化评估器（G_E,c） | 🔴 未实现 |
| 多 Agent ROI / token 效率 / 成本效率 | 🔴 未实现 |
| 基础设施成本纳入 C | 🔴 未接入 |
6. 待对齐
C是否纳入基础设施成本（与 Billing Team / usage-billing §7 对齐）。Q口径与 emergence-evaluation 一致化。CostEfficiency的确切口径（S_costvsE_cost）与G_E,c的验收阈值（>0之外是否设场景化下限）。