Agentswarm

Files

T

FastheiandClaude Opus 4.8 b5cc68c977 feat(benchmark): 落地自证采集器（阶段0+1）— S_gain≡G_E 接通 S_swarm + leaderboard

阶段0（定口径，docs/benchmark/emergence-evaluation.md §6 v2.1-impl）：
- S_gain ≡ G_E（差值，不强制归一 [0,100]，与标准「见涌现增益」字面一致）。
- 聚合 S_gain 取对最强基线（Q_base 最大）的 G_E（最保守，避免挑弱基线虚高）。
- Q ≡ Q_quality；swarm_valid 仍要求对全部基线 G_E>0 且 G_E,c>0。

阶段1（采集器）：
- 新增 benchmark/collectors/selfcert_collector.py：把套件 5 份 BenchmarkRunRecord
  （swarm+4基线）+ 可选活体 SwarmMetrics 合流，经 baselines.compare 算 G_E/G_E,c，
  补全 run_collector 无法自算的 s_gain/g_e/g_e_cost/s_swarm，可能时产出 Benchmark_Agent。
- benchmark/leaderboard：实现排行榜聚合+渲染（标准 §11 字段）。
- run-benchmark-suite.py 接入自证 + leaderboard 输出。

诚实纪律（组织规则 #9）：缺真实输入一律 NaN+coverage False，不伪造。
- O（可观测性）标准无公式 → 恒 NaN；Gov 计数器未实现 → 无活体治理则 NaN。
- 故完整 Benchmark_Agent 数字仍待 O 公式 + Gov 计数器（阶段2），采集器明列缺口。

验证：新增 test-benchmark-selfcert.py（17 项）+ 现有 benchmark 测试（metrics/
collector/comparison/runners）+ offline suite + 契约冒烟（runtime/merge/freeze）全 PASS。

影响范围：仅 agent_swarm benchmark 模块 + docs；不改 Manager↔Swarm 契约/计费/审计/密钥/发布链路。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

2026-06-12 17:38:19 +08:00

baseline-comparison.md

benchmark Group C：基线运行器 + 统一 BenchmarkRunRecord + 报告/回放（Closes #21）

2026-06-10 17:44:34 +08:00

baseline-record-schema.md

benchmark Group C：基线运行器 + 统一 BenchmarkRunRecord + 报告/回放（Closes #21）

2026-06-10 17:44:34 +08:00

baseline-runners.md

benchmark Group C：基线运行器 + 统一 BenchmarkRunRecord + 报告/回放（Closes #21）

2026-06-10 17:44:34 +08:00

cost-normalized-gain.md

Agent Swarm v6：基准 v2.1、主控 Agent、实质性对等回复、客户端指南