xiaohei/Agentswarm
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
102 Commits 5 Branches 0 Tags
2672a3d4b6207a07a854c4b7dea57d41a3f0fc9b
Commit Graph
7 Commits
Author SHA1 Message Date
gongzhiyongandClaude Sonnet 4.6 ffe9277050 feat(benchmark): 默认启用 Cosmos + Blob 导出 
BENCHMARK_EXPORT_TARGET 默认值从 none 改为 cosmos,blob，
每次真实 run 终态自动落库。凭据未配置时降级 noop + warning，不影响主路径。
同步更新 ENV_VARS.md 默认值说明。

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-15 00:20:26 +08:00
FastheiandClaude Opus 4.8 27739af446 feat(benchmark): 导出器接入 Cosmos NoSQL + Blob 存储账户(可组合多 target) 
阶段3 数据落库：BENCHMARK_EXPORT_TARGET 支持逗号组合 cosmos,blob（默认 none）。
- CosmosExporter：Cosmos DB for NoSQL，一 run 一文档(id=swarm_id，分区键 /swarm_id)。
- BlobExporter：存储账户归档 <scenario>/<swarm_id>.json。
- get_exporters() 解析多 target；某 target 缺凭据/未知则跳过+告警，不影响其它与 run。
- capture 对每个 exporter 独立 to_thread 导出，互不影响。
- orchestrator/requirements：加 azure-cosmos/azure-storage-blob/azure-identity(懒导入)。

安全：所有连接串/AccountKey 仅从环境读(经 Secret/secret_ref 注入)，
绝不写进代码/日志/提交(组织安全规则)。

验证：新增 test-benchmark-export.py(target 解析/隔离/doc 成形) + capture/selfcert/
collector 回归全 PASS。

影响范围：agent_swarm benchmark 导出层 + 依赖；运行时只读钩子不变；导出默认关、无密钥落地。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-12 18:12:46 +08:00
FastheiandClaude Opus 4.8 94ef894ace feat(benchmark): 阶段2 数据采集 — 真实 run 终态自动采集 SwarmMetrics 并落库(+可选导出) 
把采集器接进真实运行，让数据自己累积，为后续【经验标定】O/系数/S_gain 攒真实
用户数据（这些量只能由真实运行事后标定，不能先验写死）。本阶段不编任何公式。

- orchestrator/main.py：run 终态(completed/failed)在终态事件后调 capture_run_metrics。
  只读 run 状态、try/except 包裹绝不失败 run；默认开，BENCHMARK_CAPTURE=0 可关。
- orchestrator/swarm_runtime.py：record_benchmark_metrics → 落 run.metadata['benchmark']。
- benchmark/collectors/capture.py：collect(run_collector) → 持久化 → 可选导出(to_thread)。
- benchmark/export/：MetricsExporter；默认 NoopExporter(无依赖/无凭据)；
  BENCHMARK_EXPORT_TARGET=blob 启用 Azure Blob(连接串或 Workload/Managed Identity，
  凭据经环境注入，绝不写进代码)，归档 <scenario>/<swarm_id>.json。

诚实：缺项指标 NaN→null，不伪造(规则#9)。

验证：新增 test-benchmark-capture.py + 现有 collector/selfcert + 契约冒烟(runtime/
merge/freeze)全 PASS。

影响范围：agent_swarm。运行时新增**只读**终态钩子(不改派发/执行/契约/计费/审计字段)；
导出默认关，无密钥落地。Client/Manager/Agnet/CodeGW/发布链路不涉及。
依赖：benchmark/ 需在镜像内(quality.py 早已 import benchmark；由 #44 Dockerfile 修复覆盖)。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-12 17:57:59 +08:00
FastheiandClaude Opus 4.8 b5cc68c977 feat(benchmark): 落地自证采集器（阶段0+1）— S_gain≡G_E 接通 S_swarm + leaderboard 
阶段0（定口径，docs/benchmark/emergence-evaluation.md §6 v2.1-impl）：
- S_gain ≡ G_E（差值，不强制归一 [0,100]，与标准「见涌现增益」字面一致）。
- 聚合 S_gain 取对最强基线（Q_base 最大）的 G_E（最保守，避免挑弱基线虚高）。
- Q ≡ Q_quality；swarm_valid 仍要求对全部基线 G_E>0 且 G_E,c>0。

阶段1（采集器）：
- 新增 benchmark/collectors/selfcert_collector.py：把套件 5 份 BenchmarkRunRecord
  （swarm+4基线）+ 可选活体 SwarmMetrics 合流，经 baselines.compare 算 G_E/G_E,c，
  补全 run_collector 无法自算的 s_gain/g_e/g_e_cost/s_swarm，可能时产出 Benchmark_Agent。
- benchmark/leaderboard：实现排行榜聚合+渲染（标准 §11 字段）。
- run-benchmark-suite.py 接入自证 + leaderboard 输出。

诚实纪律（组织规则 #9）：缺真实输入一律 NaN+coverage False，不伪造。
- O（可观测性）标准无公式 → 恒 NaN；Gov 计数器未实现 → 无活体治理则 NaN。
- 故完整 Benchmark_Agent 数字仍待 O 公式 + Gov 计数器（阶段2），采集器明列缺口。

验证：新增 test-benchmark-selfcert.py（17 项）+ 现有 benchmark 测试（metrics/
collector/comparison/runners）+ offline suite + 契约冒烟（runtime/merge/freeze）全 PASS。

影响范围：仅 agent_swarm benchmark 模块 + docs；不改 Manager↔Swarm 契约/计费/审计/密钥/发布链路。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-12 17:38:19 +08:00
Songhaoz666andClaude Opus 4.8 baa67350e6 benchmark Group C：基线运行器 + 统一 BenchmarkRunRecord + 报告/回放（Closes #21） 
在去中心化重构之上落地 benchmark 对比管线：5 个系统（single/strong/chain/sub_agent/swarm）
跑同一任务集、同一执行后端，产出统一 BenchmarkRunRecord → 评估器算 G_E/G_E,c → 报告 + 回放。

- benchmark/runners/：backend（Offline 确定性 / OpenAI 真实）+ base + 5 个 runner。各 runner
  用 held-out fixture 测试在 Group B 沙箱里评分得 TestPassRate（权威，非自评）。
- benchmark/tasksets/：统一任务集 + 加载器（coding-set-1，1 个 fixture）。
- benchmark/reports/、benchmark/replay/：G_E/G_E,c/coverage/confidence + 归档。
- benchmark/baselines/comparison.py：BenchmarkRunRecord 的 CodeReview/UserAcceptance 改为
  Optional（掩码归一，未采集即 None，规则 #9）。
- scripts/run-benchmark-suite.py harness + scripts/test-benchmark-runners.py。

与去中心化重构对齐：swarm runner 拓扑已**重指向去中心化流程**（种子→自选→自主分解→竞争→
同伴交叉评审→收敛，calls=6/review=1），非旧 Master「分解→派发→单评审」。仍用同一离线后端
建模以保证公平对比（驱动活体编排器会换后端→记录不可比；活体全流程由 test-workflow-e2e 验证）。

沙箱适配：runner 评分走 fail-closed 沙箱（#24），故 test + CI 步骤设 HEICODE_SANDBOX_ISOLATED=1
（仅 CI/隔离 Pod）。

影响范围：agent_swarm（benchmark 层 + 测试 + docs + CI）。不碰 orchestrator 编排逻辑、
不改 Manager↔Swarm 契约、不影响 Client/计费/密钥/审计/发布链路。

诚实边界：
- **离线后端只验证管线**：所有系统拿同一参考解 → quality 相同 → G_E=0、swarm_valid=False，
  刻意不显示蜂群优势（反造假）。真实 G_E>0 需 --backend openai + 足量冻结任务集 + 多次运行。
- 故 Closes #21（运行器 + 统一记录已落地并产出合规非 NaN 记录）；Refs #20（仅 1/5 场景）、
  Refs #22（评估器/报告/回放已建，但 Quality 仅 TestPassRate，CodeReview/UserAcceptance 缺）、
  Refs #13（验收 EPIC，需真实 run 证明 Swarm>baselines，未满足）。

Closes #21
Refs #20
Refs #22
Refs #13

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-10 17:44:34 +08:00
Songhaoz666andClaude Opus 4.8 d487923646 benchmark: 落地决策层(τ/η/P)、质量(Q_quality)、通信遥测；关闭 #10 #23 
四块互相交织的 benchmark 覆盖增量，统一提交：

1) 通信遥测（#23）：orchestrator 路由 peer 消息时按 correlation_id 计请求/应答到
   SwarmRun.collaboration（内部状态，不进 Manager 事件流）；collector 算 s_communication。
   治理计数由 run.approvals 派生（合规/总数）→ s_governance。

2) Q_quality 掩码归一（v2.1 裁定）：metrics.quality_score 改为对 present 输入加权归一，
   非编码任务自动忽略 TestPassRate，全缺 → NaN（不伪造）。

3) 质量插桩 / Group B：新增 Pod 内代码测试沙箱（orchestrator/sandbox.py，环境清洗 +
   超时强杀 + 资源限额 + 路径越界校验，门控 ENABLE_QUALITY_EVAL）与 held-out fixture
   （benchmark/fixtures/）；run 完成时用留出测试评分得 TestPassRate → Q_quality →
   collector 合成 reward。安全边界见 docs/integration/security-boundary.md §8.1。

4) 决策引擎 / Group A（#10，Option A score-at-pull）：新增 orchestrator/decision_engine.py
   —— 信息素 τ（Redis 持久、(role,agent) 键控、冷启动 0.5、ρ 蒸发、夹紧、学习常开）+
   η 启发式评分 + ε-greedy 概率采样；每次 dispatch 产一条 DecisionTrace →
   SwarmRun.decisions；collector 算 tau/eta/p_decision。概率选择门控 ENABLE_ACO_DISPATCH
   （默认关，CI 用 ACO_SEED 固定）。

覆盖：单次 run 真实可算字段由 4 提升至最多 10/15（新增 communication/reward/tau/eta/
p_decision，外加 governance 有条件）。

测试：新增 test-sandbox / test-quality / test-decision-engine；扩充 collector/metrics 用例；
CI 纳入全部 benchmark 套件 + flag-on 的 ACO e2e。本地 11 项 gate 全绿。

诚实边界（未越界声称）：
- Group A 为单边匹配（Option B 待 Group C）；概率派发优于贪心未证；默认关闭。
- reward 的 CodeReview/UserAcceptance 未采集（掩码忽略）；P_risk 为审批派生低估。
- s_gain/s_swarm/g_e/g_e_cost/benchmark 仍 NaN —— 需基线（#21/#13），本 PR 不动验收。

影响范围：Swarm（orchestrator + benchmark + docs + CI）。不改 Manager↔Swarm 事件契约
（遥测均为运行时内部状态）；不影响 Client/计费/密钥/发布链路。新增 ENABLE_QUALITY_EVAL /
ENABLE_ACO_DISPATCH 两个开关，默认关闭。

Closes #10
Closes #23

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-10 12:51:32 +08:00
Songhaoz666andClaude Opus 4.8 54cb327348 Agent Swarm v6：基准 v2.1、主控 Agent、实质性对等回复、客户端指南 
- 基准标准 v2.1：SwarmMetrics（15 字段）、τ/η/P_decision/reward 公式、对称 G_E,c（修正 C_base=1.0 退化）、Σλ=1.0 校验；新增基线对比与运行记录 schema；指标覆盖缺口分析；参考系数暂留为元数据（待量化）。
- 主控 Agent 实体（分解 / 评审决策 / 汇总）；事件契约修正（timeline.title、budget.threshold_pct、handoff 角色、task.released）+ 契约校验脚本。
- 实质性 LLM 对等回复（含降级回退）；集成契约（runtime / event / usage / audit / frontend / capability / security）；CLIENT_GUIDE 客户端指南；CI 工作流；治理与交付文档。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-09 16:21:18 +08:00