gongzhiyongandClaude Opus 4.8
28a6c618ab
修正 P_rework 已知低估:此前 ReworkCount 仅由 retry_count>0 派生,漏了 cross_review/queen 质量门的重开(reopen_task 不增 retry_count——是质量决策非失败)。 - cross_review + queen_quality_gate 重开时累计 run.metadata["rework_reopens"] - run_collector:rework_count = retry 派生 + rework_reopens 测试 test-benchmark-collector/metrics 通过。影响:仅 benchmark 度量(P_rework 更准),不改运行路径。 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
benchmark/ —— 蜂群基准（骨架）
对应 docs/benchmark/ 的标准实现入口。依据 Agent 蜂群指标量化与标准 v2.0。
实现状态
| 模块 | 内容 | 状态 |
|---|---|---|
metrics.py |
v2.0 SwarmMetrics（15 字段）+ 纯公式（pheromone/heuristic/p_decision/reward/completion/collaboration/communication/cost/robustness/governance/swarm_score/emergence_gain/swarm_cost/cost_normalized_gain/benchmark_agent）+ v2.0 推荐权重常量 |
✅ 已实现、可单测（test-benchmark-metrics.py） |
collectors/ |
base SwarmMetricsCollector + SwarmRunMetricsCollector（无条件计算 s_completion/s_collaboration/s_robustness，有条件计算 s_cost/s_governance/s_communication/reward/tau/eta/p_decision；其余标记 NaN + coverage=False） |
🟡 部分落地（单次 run 最多 10/15 字段真实可算） |
fixtures/ |
留出（held-out）任务 fixture + 加载器；reward 的 Q_quality 评分源 |
🟡 1 个示例 fixture（add_function），统一任务集待扩充 |
| 决策引擎 | orchestrator/decision_engine.py（τ trail + η 评分 + ε-greedy 采样，ENABLE_ACO_DISPATCH 门控；见 docs/benchmark/decision-engine.md） |
🟡 Option A 单边已落地；Option B 与决策质量验证待 Group C |
baselines/ |
BenchmarkRunRecord + compare/evaluate（G_E/G_E,c） |
✅ 已实现 |
tasksets/ |
统一基准任务集（coding-set-1） |
🟡 1 个示例任务集（#20） |
runners/ |
single/strong/chain/sub_agent/swarm + 共享 backend（Offline/OpenAI） | 🟡 管线已落地；真实数值需 key（#21） |
reports/ |
G_E/G_E,c/coverage/confidence + Markdown | ✅ 已实现（#22 部分） |
replay/ |
记录/报告归档（records/report/md/meta） | 🟡 最小回放（#22 部分） |
leaderboard/ |
排行榜聚合 | 🔴 未落地 |
公式可计算 ≠ 能自证。基线运行管线（runners/tasksets/reports/replay）已落地，但 Offline 仅验证管线 （无偏、G_E=0），真实
G_E>0需--backend openai+ 冻结任务集 + 多次运行。在拿到真实结果前， 不得宣称已具备 Agent Swarm 量化自证能力（不能证明Swarm > Single/Chain/Sub/Strong，也无法输出完整Benchmark_Agent）。入口scripts/run-benchmark-suite.py，说明见docs/benchmark/baseline-runners.md。
待落地（按依赖顺序）
collectors/：接入事件流 / Prometheus / OTel / 任务与用量（telemetry-architecture）。baselines/：四类基线 + 统一任务集（emergence-evaluation / baseline-comparison）。replay/、leaderboard/。- 权重 v2.0 已给定（
λ/w*/γ*，Σλ=1.0）；α/β/ρ/N_agent/ε用THETA_DEFAULTS推荐初值，调优口径待定。