# Cost-Normalized Gain(成本归一化增益) > 状态:**规划中(公式已对齐,ROI 评估器未落地)**。 > > 依据:**Agent 蜂群指标量化与标准 v2.0 §6.2**。配套:[`emergence-evaluation.md`](./emergence-evaluation.md)、[`swarm-metrics-schema.md`](./swarm-metrics-schema.md)、[`usage-billing` 用量](../integration/usage-billing-schema.md)。实现:`benchmark/metrics.py` 的 `cost_normalized_gain` / `swarm_cost`。 ## 1. 公式(v2.0 + Owner 修正 2026-06-09:对称成本归一化) ``` G_E,c = (Q_swarm / C_swarm) − (Q_base / C_base) C_swarm = N_agent_swarm × (CostEfficiency_swarm / 100 + 0.5) C_base = N_agent_base × (CostEfficiency_base / 100 + 0.5) ``` - `Q_*`:质量(同 emergence-evaluation §3)。`CostEfficiency`:成本效率 `100·Budget/ActualCost`(**= §5.1 `S_cost` = §4.1 `E_cost`,同一量**,Owner 裁定 v2.1)。 - 判读:`G_E,c > 0` 表示**单位成本质量**优于基线;`< 0` 表明蜂群以更高的 Agent 成本换取质量、性价比不及基线,应缩减 `N_agent`。 > ✅ **Owner 修正(2026-06-09)**:原始 v2.0 §6.2 取 `C_base = 1.0`,与 `C_swarm ≈ O(N_agent)` 尺度不一致, > 致使几乎任何多 Agent 蜂群 `G_E,c < 0`(与质量无关,指标退化)。经 Benchmark Owner 裁定,改为**对称归一化** > (`C_base` 用基线自身 `N_agent` 与 `CostEfficiency` 同式计算),使两项均为单位成本质量、可比。 > 实现为 `benchmark/baselines.compare` 的**默认**(`symmetric_cost=True`);字面 v2.0(`C_base=1.0`)仅 `symmetric_cost=False` 保留参考。背景见 [`OWNER-NOTE-cost-normalized-gain.md`](./OWNER-NOTE-cost-normalized-gain.md)。 ## 2. 目的 防止通过**无限扩张 Agent 数量 / Token** 获得虚假涌现增益:`C_swarm` 随 `N_agent` 线性增长,堆 Agent 会拉低 `Q_swarm/C_swarm`。蜂群验收**不只**看 `G_E > 0`,还要 `G_E,c > 0`。 ## 3. 成本 C 口径 `C` 建议为单次任务集的总成本,至少包含(数据源见 usage-billing-schema): ``` C = model_cost_usd(所有 task / 所有 review 重做累计) [+ runtime / 基础设施成本,待接入] ``` | 成本项 | 本仓可采集 | |---|---| | `model_cost_usd`(含多 Agent、多 review 重做累计) | 🟡 usage 已采集,按 `swarm_id` 聚合即可 | | `model_tokens`(token 效率视角) | 🟡 已采集 | | 基础设施成本(cpu/memory/Pod) | 🔴 未接入账本(见 usage-billing §6) | > 多 Agent / review 重做的成本**已隐含累计**在按 `swarm_id` 聚合的 `usage` 中,因此 `C_swarm` 天然反映「堆 Agent / 重做」的代价——这正是 `G_E,c` 要惩罚的。 ## 4. 衍生视角(Leaderboard) - **Token 效率**:`Q / total_tokens`。 - **Cost Efficiency**:`Q / model_cost_usd`。 - **Swarm ROI**:`G_E,c` 本身。 ## 5. 实现状态 | 组件 | 状态 | |---|---| | `usage` 成本聚合(按 swarm_id) | 🟡 数据具备,无聚合器 | | 成本归一化评估器(G_E,c) | 🔴 未实现 | | 多 Agent ROI / token 效率 / 成本效率 | 🔴 未实现 | | 基础设施成本纳入 C | 🔴 未接入 | ## 6. 待对齐 - `C` 是否纳入基础设施成本(与 Billing Team / usage-billing §7 对齐)。 - `Q` 口径与 emergence-evaluation 一致化。 - `CostEfficiency` 的确切口径(`S_cost` vs `E_cost`)与 `G_E,c` 的验收阈值(`>0` 之外是否设场景化下限)。