 FastheiandClaude Opus 4.8
|
b5cc68c977
|
feat(benchmark): 落地自证采集器（阶段0+1）— S_gain≡G_E 接通 S_swarm + leaderboard
阶段0（定口径，docs/benchmark/emergence-evaluation.md §6 v2.1-impl）：
- S_gain ≡ G_E（差值，不强制归一 [0,100]，与标准「见涌现增益」字面一致）。
- 聚合 S_gain 取对最强基线（Q_base 最大）的 G_E（最保守，避免挑弱基线虚高）。
- Q ≡ Q_quality；swarm_valid 仍要求对全部基线 G_E>0 且 G_E,c>0。
阶段1（采集器）：
- 新增 benchmark/collectors/selfcert_collector.py：把套件 5 份 BenchmarkRunRecord
（swarm+4基线）+ 可选活体 SwarmMetrics 合流，经 baselines.compare 算 G_E/G_E,c，
补全 run_collector 无法自算的 s_gain/g_e/g_e_cost/s_swarm，可能时产出 Benchmark_Agent。
- benchmark/leaderboard：实现排行榜聚合+渲染（标准 §11 字段）。
- run-benchmark-suite.py 接入自证 + leaderboard 输出。
诚实纪律（组织规则 #9）：缺真实输入一律 NaN+coverage False，不伪造。
- O（可观测性）标准无公式 → 恒 NaN；Gov 计数器未实现 → 无活体治理则 NaN。
- 故完整 Benchmark_Agent 数字仍待 O 公式 + Gov 计数器（阶段2），采集器明列缺口。
验证：新增 test-benchmark-selfcert.py（17 项）+ 现有 benchmark 测试（metrics/
collector/comparison/runners）+ offline suite + 契约冒烟（runtime/merge/freeze）全 PASS。
影响范围：仅 agent_swarm benchmark 模块 + docs；不改 Manager↔Swarm 契约/计费/审计/密钥/发布链路。
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
|
2026-06-12 17:38:19 +08:00 |
|
|
Songhaoz666andClaude Opus 4.8
|
baa67350e6
|
benchmark Group C：基线运行器 + 统一 BenchmarkRunRecord + 报告/回放（Closes #21）
在去中心化重构之上落地 benchmark 对比管线：5 个系统（single/strong/chain/sub_agent/swarm）
跑同一任务集、同一执行后端，产出统一 BenchmarkRunRecord → 评估器算 G_E/G_E,c → 报告 + 回放。
- benchmark/runners/：backend（Offline 确定性 / OpenAI 真实）+ base + 5 个 runner。各 runner
用 held-out fixture 测试在 Group B 沙箱里评分得 TestPassRate（权威，非自评）。
- benchmark/tasksets/：统一任务集 + 加载器（coding-set-1，1 个 fixture）。
- benchmark/reports/、benchmark/replay/：G_E/G_E,c/coverage/confidence + 归档。
- benchmark/baselines/comparison.py：BenchmarkRunRecord 的 CodeReview/UserAcceptance 改为
Optional（掩码归一，未采集即 None，规则 #9）。
- scripts/run-benchmark-suite.py harness + scripts/test-benchmark-runners.py。
与去中心化重构对齐：swarm runner 拓扑已**重指向去中心化流程**（种子→自选→自主分解→竞争→
同伴交叉评审→收敛，calls=6/review=1），非旧 Master「分解→派发→单评审」。仍用同一离线后端
建模以保证公平对比（驱动活体编排器会换后端→记录不可比；活体全流程由 test-workflow-e2e 验证）。
沙箱适配：runner 评分走 fail-closed 沙箱（#24），故 test + CI 步骤设 HEICODE_SANDBOX_ISOLATED=1
（仅 CI/隔离 Pod）。
影响范围：agent_swarm（benchmark 层 + 测试 + docs + CI）。不碰 orchestrator 编排逻辑、
不改 Manager↔Swarm 契约、不影响 Client/计费/密钥/审计/发布链路。
诚实边界：
- **离线后端只验证管线**：所有系统拿同一参考解 → quality 相同 → G_E=0、swarm_valid=False，
刻意不显示蜂群优势（反造假）。真实 G_E>0 需 --backend openai + 足量冻结任务集 + 多次运行。
- 故 Closes #21（运行器 + 统一记录已落地并产出合规非 NaN 记录）；Refs #20（仅 1/5 场景）、
Refs #22（评估器/报告/回放已建，但 Quality 仅 TestPassRate，CodeReview/UserAcceptance 缺）、
Refs #13（验收 EPIC，需真实 run 证明 Swarm>baselines，未满足）。
Closes #21
Refs #20
Refs #22
Refs #13
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
|
2026-06-10 17:44:34 +08:00 |
|