FastheiandClaude Opus 4.8
27739af446
阶段3 数据落库：BENCHMARK_EXPORT_TARGET 支持逗号组合 cosmos,blob（默认 none）。 - CosmosExporter：Cosmos DB for NoSQL，一 run 一文档(id=swarm_id，分区键 /swarm_id)。 - BlobExporter：存储账户归档 <scenario>/<swarm_id>.json。 - get_exporters() 解析多 target；某 target 缺凭据/未知则跳过+告警，不影响其它与 run。 - capture 对每个 exporter 独立 to_thread 导出，互不影响。 - orchestrator/requirements：加 azure-cosmos/azure-storage-blob/azure-identity(懒导入)。 安全：所有连接串/AccountKey 仅从环境读(经 Secret/secret_ref 注入)， 绝不写进代码/日志/提交(组织安全规则)。 验证：新增 test-benchmark-export.py(target 解析/隔离/doc 成形) + capture/selfcert/ collector 回归全 PASS。 影响范围：agent_swarm benchmark 导出层 + 依赖；运行时只读钩子不变；导出默认关、无密钥落地。 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
benchmark/ —— 蜂群基准（骨架）
对应 docs/benchmark/ 的标准实现入口。依据 Agent 蜂群指标量化与标准 v2.0。
实现状态
| 模块 | 内容 | 状态 |
|---|---|---|
metrics.py |
v2.0 SwarmMetrics（15 字段）+ 纯公式（pheromone/heuristic/p_decision/reward/completion/collaboration/communication/cost/robustness/governance/swarm_score/emergence_gain/swarm_cost/cost_normalized_gain/benchmark_agent）+ v2.0 推荐权重常量 |
✅ 已实现、可单测（test-benchmark-metrics.py） |
collectors/ |
base SwarmMetricsCollector + SwarmRunMetricsCollector（无条件计算 s_completion/s_collaboration/s_robustness，有条件计算 s_cost/s_governance/s_communication/reward/tau/eta/p_decision；其余标记 NaN + coverage=False） |
🟡 部分落地（单次 run 最多 10/15 字段真实可算） |
fixtures/ |
留出（held-out）任务 fixture + 加载器；reward 的 Q_quality 评分源 |
🟡 1 个示例 fixture（add_function），统一任务集待扩充 |
| 决策引擎 | orchestrator/decision_engine.py（τ trail + η 评分 + ε-greedy 采样，ENABLE_ACO_DISPATCH 门控；见 docs/benchmark/decision-engine.md） |
🟡 Option A 单边已落地；Option B 与决策质量验证待 Group C |
baselines/ |
BenchmarkRunRecord + compare/evaluate（G_E/G_E,c） |
✅ 已实现 |
tasksets/ |
统一基准任务集（coding-set-1） |
🟡 1 个示例任务集（#20） |
runners/ |
single/strong/chain/sub_agent/swarm + 共享 backend（Offline/OpenAI） | 🟡 管线已落地；真实数值需 key（#21） |
reports/ |
G_E/G_E,c/coverage/confidence + Markdown | ✅ 已实现（#22 部分） |
replay/ |
记录/报告归档（records/report/md/meta） | 🟡 最小回放（#22 部分） |
leaderboard/ |
排行榜聚合 | 🔴 未落地 |
公式可计算 ≠ 能自证。基线运行管线（runners/tasksets/reports/replay）已落地，但 Offline 仅验证管线 （无偏、G_E=0），真实
G_E>0需--backend openai+ 冻结任务集 + 多次运行。在拿到真实结果前， 不得宣称已具备 Agent Swarm 量化自证能力（不能证明Swarm > Single/Chain/Sub/Strong，也无法输出完整Benchmark_Agent）。入口scripts/run-benchmark-suite.py，说明见docs/benchmark/baseline-runners.md。
待落地（按依赖顺序）
collectors/：接入事件流 / Prometheus / OTel / 任务与用量（telemetry-architecture）。baselines/：四类基线 + 统一任务集（emergence-evaluation / baseline-comparison）。replay/、leaderboard/。- 权重 v2.0 已给定（
λ/w*/γ*，Σλ=1.0）；α/β/ρ/N_agent/ε用THETA_DEFAULTS推荐初值，调优口径待定。