Songhaoz666andClaude Opus 4.8
54cb327348
- 基准标准 v2.1：SwarmMetrics（15 字段）、τ/η/P_decision/reward 公式、对称 G_E,c（修正 C_base=1.0 退化）、Σλ=1.0 校验；新增基线对比与运行记录 schema；指标覆盖缺口分析；参考系数暂留为元数据（待量化）。 - 主控 Agent 实体（分解 / 评审决策 / 汇总）；事件契约修正（timeline.title、budget.threshold_pct、handoff 角色、task.released）+ 契约校验脚本。 - 实质性 LLM 对等回复（含降级回退）；集成契约（runtime / event / usage / audit / frontend / capability / security）；CLIENT_GUIDE 客户端指南；CI 工作流；治理与交付文档。 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
3.1 KiB
Owner Note：G_E,c 成本归一化增益公式退化 —— ✅ 已裁定（对称 C_base）
提交：Swarm 仓（HeiCode-Swarm）· 面向：Benchmark Owner（Agent 蜂群指标量化与标准 v2.0 §6.2） 状态：✅ 已裁定（2026-06-09）。Benchmark Owner 采纳「对称
C_base」修正：C_base用基线自身N_agent与CostEfficiency同式计算。已设为benchmark/baselines.compare的默认（symmetric_cost=True）； 字面 v2.0（C_base=1.0）仅作参考（symmetric_cost=False）。下文保留问题背景与依据。
1. 问题
v2.0 §6.2：
G_E,c = (Q_swarm / C_swarm) − (Q_base / C_base)
C_swarm = N_agent × (CostEfficiency/100 + 0.5)
C_base = 1.0
C_base 固定为 1.0，而 C_swarm ≈ O(N_agent)（数量级 ~数倍）。两项尺度不一致：
Q_base / C_base = Q_base（满量级，如 65.5）Q_swarm / C_swarm（被压缩，如 85.5/12.5 ≈ 6.84）
→ 基线项恒压倒实验项，几乎任何多 Agent 蜂群的 G_E,c 都为负，与质量无关。该指标退化，无法区分「高性价比蜂群」与「堆 Agent 蜂群」——恰与其设计意图相反。
复现（scripts/test-baseline-comparison.py）：Q_swarm=85.5 > Q_sub=65.5（G_E=+20），但字面公式 G_E,c = 6.84 − 65.5 = −58.7。
2. 根因
C_base = 1.0 疑为简化/笔误：它让基线「零成本」，使差值失去「单位成本质量」的可比性。
3. 建议修复（推荐：对称成本归一化）
让 C_base 与 C_swarm 同式计算（用基线自身的 N_agent 与 CostEfficiency）：
C_base = N_agent_base × (CostEfficiency_base/100 + 0.5)
则两项均为「单位成本质量」，可比、非退化，且保留 v2.0「差值 + 动态成本」的设计意图。
- 复现示例（对称）：
C_base = 3×(166.7/100+0.5) = 6.5→G_E,c = 6.84 − 10.08 = −3.24。这是有意义的结果：蜂群质量更高，但用 5 个 Agent 的代价不成比例；当质量增益足够大时G_E,c可转正。
备选：恢复 v1 的比值形式 G_E,c = (Q_swarm/C_swarm)/(Q_base/C_base)（阈值 >1），天然尺度无关。
4. 本仓现状（已就绪，等裁定）
benchmark/metrics.py:cost_normalized_gain接受c_base参数。benchmark/baselines/compare(..., symmetric_cost=False)：默认 = 字面 v2.0（C_base=1.0）；symmetric_cost=True= 上述对称修复。- 由
scripts/test-baseline-comparison.py覆盖两种模式。 - 一旦 Owner 确认，将对称模式设为默认并更新 v2.0 文档与本仓默认值。
5. 裁定结果（2026-06-09）
- 采用对称
C_base（默认symmetric_cost=True）。 改回比值形式（阈值 >1）未采用。维持仅作参考保留（C_base=1.0symmetric_cost=False）。CostEfficiency口径：统一为100·Budget/ActualCost（=S_cost=E_cost，Owner 裁定 v2.1）。- 参考系数 ×0.75/0.85/0.90/0.95：Owner 决定暂留为元数据、暂不接入公式，标记待后续实测量化（如
系数 = Q_baseline/Q_reference）。其含义见baseline-comparison.md §1.1。