 FastheiandClaude Opus 4.8
|
b5cc68c977
|
feat(benchmark): 落地自证采集器（阶段0+1）— S_gain≡G_E 接通 S_swarm + leaderboard
阶段0（定口径，docs/benchmark/emergence-evaluation.md §6 v2.1-impl）：
- S_gain ≡ G_E（差值，不强制归一 [0,100]，与标准「见涌现增益」字面一致）。
- 聚合 S_gain 取对最强基线（Q_base 最大）的 G_E（最保守，避免挑弱基线虚高）。
- Q ≡ Q_quality；swarm_valid 仍要求对全部基线 G_E>0 且 G_E,c>0。
阶段1（采集器）：
- 新增 benchmark/collectors/selfcert_collector.py：把套件 5 份 BenchmarkRunRecord
（swarm+4基线）+ 可选活体 SwarmMetrics 合流，经 baselines.compare 算 G_E/G_E,c，
补全 run_collector 无法自算的 s_gain/g_e/g_e_cost/s_swarm，可能时产出 Benchmark_Agent。
- benchmark/leaderboard：实现排行榜聚合+渲染（标准 §11 字段）。
- run-benchmark-suite.py 接入自证 + leaderboard 输出。
诚实纪律（组织规则 #9）：缺真实输入一律 NaN+coverage False，不伪造。
- O（可观测性）标准无公式 → 恒 NaN；Gov 计数器未实现 → 无活体治理则 NaN。
- 故完整 Benchmark_Agent 数字仍待 O 公式 + Gov 计数器（阶段2），采集器明列缺口。
验证：新增 test-benchmark-selfcert.py（17 项）+ 现有 benchmark 测试（metrics/
collector/comparison/runners）+ offline suite + 契约冒烟（runtime/merge/freeze）全 PASS。
影响范围：仅 agent_swarm benchmark 模块 + docs；不改 Manager↔Swarm 契约/计费/审计/密钥/发布链路。
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
|
2026-06-12 17:38:19 +08:00 |
|
|
Songhaoz666andClaude Opus 4.8
|
54cb327348
|
Agent Swarm v6：基准 v2.1、主控 Agent、实质性对等回复、客户端指南
- 基准标准 v2.1：SwarmMetrics（15 字段）、τ/η/P_decision/reward 公式、对称 G_E,c（修正 C_base=1.0 退化）、Σλ=1.0 校验；新增基线对比与运行记录 schema；指标覆盖缺口分析；参考系数暂留为元数据（待量化）。
- 主控 Agent 实体（分解 / 评审决策 / 汇总）；事件契约修正（timeline.title、budget.threshold_pct、handoff 角色、task.released）+ 契约校验脚本。
- 实质性 LLM 对等回复（含降级回退）；集成契约（runtime / event / usage / audit / frontend / capability / security）；CLIENT_GUIDE 客户端指南；CI 工作流；治理与交付文档。
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
|
2026-06-09 16:21:18 +08:00 |
|