Songhaoz666andClaude Opus 4.8
baa67350e6
在去中心化重构之上落地 benchmark 对比管线：5 个系统（single/strong/chain/sub_agent/swarm） 跑同一任务集、同一执行后端，产出统一 BenchmarkRunRecord → 评估器算 G_E/G_E,c → 报告 + 回放。 - benchmark/runners/：backend（Offline 确定性 / OpenAI 真实）+ base + 5 个 runner。各 runner 用 held-out fixture 测试在 Group B 沙箱里评分得 TestPassRate（权威，非自评）。 - benchmark/tasksets/：统一任务集 + 加载器（coding-set-1，1 个 fixture）。 - benchmark/reports/、benchmark/replay/：G_E/G_E,c/coverage/confidence + 归档。 - benchmark/baselines/comparison.py：BenchmarkRunRecord 的 CodeReview/UserAcceptance 改为 Optional（掩码归一，未采集即 None，规则 #9）。 - scripts/run-benchmark-suite.py harness + scripts/test-benchmark-runners.py。 与去中心化重构对齐：swarm runner 拓扑已**重指向去中心化流程**（种子→自选→自主分解→竞争→ 同伴交叉评审→收敛，calls=6/review=1），非旧 Master「分解→派发→单评审」。仍用同一离线后端 建模以保证公平对比（驱动活体编排器会换后端→记录不可比；活体全流程由 test-workflow-e2e 验证）。 沙箱适配：runner 评分走 fail-closed 沙箱（#24），故 test + CI 步骤设 HEICODE_SANDBOX_ISOLATED=1 （仅 CI/隔离 Pod）。 影响范围：agent_swarm（benchmark 层 + 测试 + docs + CI）。不碰 orchestrator 编排逻辑、 不改 Manager↔Swarm 契约、不影响 Client/计费/密钥/审计/发布链路。 诚实边界： - **离线后端只验证管线**：所有系统拿同一参考解 → quality 相同 → G_E=0、swarm_valid=False， 刻意不显示蜂群优势（反造假）。真实 G_E>0 需 --backend openai + 足量冻结任务集 + 多次运行。 - 故 Closes #21（运行器 + 统一记录已落地并产出合规非 NaN 记录）；Refs #20（仅 1/5 场景）、 Refs #22（评估器/报告/回放已建，但 Quality 仅 TestPassRate，CodeReview/UserAcceptance 缺）、 Refs #13（验收 EPIC，需真实 run 证明 Swarm>baselines，未满足）。 Closes #21 Refs #20 Refs #22 Refs #13 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
1.2 KiB
1.2 KiB
benchmark/tasksets/ —— 统一基准任务集（#20）
蜂群与全部基线在同一 task_set_id、同一模型网关下运行同一组任务，才可比（标准 §9.1）。
每个任务引用一个 fixture（目标 + 留出验收测试 + 离线参考解）。
实现状态（诚实覆盖）
| 场景 scenario | task set | 状态 |
|---|---|---|
| coding | coding-set-1（add_function） |
🟡 1 个真实任务（示例规模） |
| refactoring | — | 🔴 未建（缺 fixture + 留出测试） |
| architecture | — | 🔴 未建 |
| devops | — | 🔴 未建 |
| bugfix | — | 🔴 未建 |
只有带真实 fixture 的场景才可加载；不发布空任务集（空集会「静默通过」，违反规则 #9）。 扩充 = 新增
benchmark/fixtures/<id>/（含tests/test_*.py留出测试 + 可选reference_solution/） 后，在对应benchmark/tasksets/<set>/taskset.json引用。
与验收的关系
G_E>0 / Benchmark_Agent 验收要求在冻结的、足够规模的任务集上、用真实模型多次运行
（见 docs/benchmark/baseline-comparison.md）。当前任务集为示例规模，仅用于打通管线，
不构成验收。