xiaohei/Agentswarm
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
16 Commits 5 Branches 0 Tags
baa67350e6f117e2825c0dfd12a21961c99dc0b4
Commit Graph
6 Commits
Author SHA1 Message Date
Songhaoz666andClaude Opus 4.8 baa67350e6 benchmark Group C：基线运行器 + 统一 BenchmarkRunRecord + 报告/回放（Closes #21） 
在去中心化重构之上落地 benchmark 对比管线：5 个系统（single/strong/chain/sub_agent/swarm）
跑同一任务集、同一执行后端，产出统一 BenchmarkRunRecord → 评估器算 G_E/G_E,c → 报告 + 回放。

- benchmark/runners/：backend（Offline 确定性 / OpenAI 真实）+ base + 5 个 runner。各 runner
  用 held-out fixture 测试在 Group B 沙箱里评分得 TestPassRate（权威，非自评）。
- benchmark/tasksets/：统一任务集 + 加载器（coding-set-1，1 个 fixture）。
- benchmark/reports/、benchmark/replay/：G_E/G_E,c/coverage/confidence + 归档。
- benchmark/baselines/comparison.py：BenchmarkRunRecord 的 CodeReview/UserAcceptance 改为
  Optional（掩码归一，未采集即 None，规则 #9）。
- scripts/run-benchmark-suite.py harness + scripts/test-benchmark-runners.py。

与去中心化重构对齐：swarm runner 拓扑已**重指向去中心化流程**（种子→自选→自主分解→竞争→
同伴交叉评审→收敛，calls=6/review=1），非旧 Master「分解→派发→单评审」。仍用同一离线后端
建模以保证公平对比（驱动活体编排器会换后端→记录不可比；活体全流程由 test-workflow-e2e 验证）。

沙箱适配：runner 评分走 fail-closed 沙箱（#24），故 test + CI 步骤设 HEICODE_SANDBOX_ISOLATED=1
（仅 CI/隔离 Pod）。

影响范围：agent_swarm（benchmark 层 + 测试 + docs + CI）。不碰 orchestrator 编排逻辑、
不改 Manager↔Swarm 契约、不影响 Client/计费/密钥/审计/发布链路。

诚实边界：
- **离线后端只验证管线**：所有系统拿同一参考解 → quality 相同 → G_E=0、swarm_valid=False，
  刻意不显示蜂群优势（反造假）。真实 G_E>0 需 --backend openai + 足量冻结任务集 + 多次运行。
- 故 Closes #21（运行器 + 统一记录已落地并产出合规非 NaN 记录）；Refs #20（仅 1/5 场景）、
  Refs #22（评估器/报告/回放已建，但 Quality 仅 TestPassRate，CodeReview/UserAcceptance 缺）、
  Refs #13（验收 EPIC，需真实 run 证明 Swarm>baselines，未满足）。

Closes #21
Refs #20
Refs #22
Refs #13

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-10 17:44:34 +08:00
Songhaoz666andClaude Opus 4.8 f281370209 去中心化蜂群重构：从 Master 中心化切换为播种+自组织（唯一行为） 
把本仓从「Master 分解→派发→单评审」重构为去中心化自组织蜂群，并设为唯一行为
（本仓即 swarm 运行时，模式选择在仓外，无 ENABLE_swarm 开关）。依据：heicodeDocs 弱中心
定义 + 蜂群文章（stigmergy）+ OpenAI Swarm（handoff）。

流程（全部无条件生效）：
- 播种 build_seed_task_specs（不主控分解）→ 自选 swarm_dispatch（能力+τ+负载+预算，唯一派发）
  → 自主分解 task_proposal（autonomous_tasks）→ 竞争/接管 task_bid/yield/takeover（task_competition）
  → 同伴交叉评审 ≥2 评审者（cross_review，取代单 critic）→ 收敛 ConvergenceReport+termination_reason
  （convergence）→ 守卫 guard.diagnose（检测无法运作并列原因）。

删除：planner 主控分解、贪心/ACO/scored 派发与 scored_matchmake、单 critic 评审环、
全部 ENABLE_* swarm 构建开关。master_agent.synthesize 作为汇总工具保留。

测试：test-workflow-e2e 改写为真实 swarm 全流程；test-merge-smoke 改为 seeder/cross-review；
新增 test-swarm-{seed,dispatch,autonomous,competition,cross-review,convergence,guard} + 模块单测；
CI 同步。本地 18 套全绿。

影响范围：agent_swarm（orchestrator + 新模块 + 测试 + docs + CI）。不改 Manager↔Swarm 事件契约
（新事件均为运行时内部状态/遥测，不进 HM 注册表）；不影响 Client/计费/密钥/审计/发布链路。
无新增长期开关。

诚实边界：不动 benchmark 验收（G_E 仍需真实 run，#13）；convergence 暂为解释性（不强制覆盖
run.status）；前端可见状态为跨端（#18）；「去中心化是否更优」未证（需 Group C）。

#6 的 DoD（Path B 决策 + 定位文档）本 PR 已满足并实现 Path B → 关闭 #6。
#7/#8/#11/#12 的运行时机制已落地（事件 + e2e），但其 DoD 含前端可见状态（跨端 #18）与
多 Agent 回放，故以 Refs 链接、不自动关闭，留维护者在前端/验收就绪后关闭。

Closes #6
Refs #7
Refs #8
Refs #11
Refs #12
Refs #18

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-10 16:11:47 +08:00
Songhaoz666andClaude Opus 4.8 62610a7e3f 调度评分：多维可解释打分匹配 + dispatch.decision_made（Closes #9） 
把派发从「能力子集 + 空闲」升级为任务为中心的多维可解释打分匹配。

新增/改动：
- orchestrator/dispatch_score.py（新）：DispatchCandidate/DispatchScore + 加权掩码归一
  打分（score_candidate/rank_candidates）+ build_dispatch_decision_event。
- orchestrator/main.py：抽出三模式共用的 finalize_dispatch；新增 scored_matchmake
  （ENABLE_DISPATCH_SCORE，默认关，与 ACO 择一）——为每个就绪任务在有能力的空闲 Agent
  间按 capability/历史成功(τ)/负载/预算压力/权限择优，记录可解释决策；_run_budget_pressure
  计算真实预算占比。
- orchestrator/swarm_runtime.py：SwarmRun.dispatch_decisions + record_dispatch_decision
  （内部状态，非 Manager 事件）。
- 测试：scripts/test-dispatch-score.py（公式 24 项）+ scripts/test-dispatch-scored.py
  （集成 11 项：按 τ/负载多 Agent 择优 + 排除原因 + 可回放记录）；CI 纳入两者。
- docs/scheduling/dispatch-score-schema.md、CLAUDE.md 同步。

诚实边界：risk_score/estimated_cost/estimated_time 本仓无来源 → None 并在 payload
uncollected_dimensions 披露（不伪造，规则 #9）；dispatch.decision_made 暂为 Swarm 内部
记录，未进 Manager 事件契约（需 event-schema 注册，跨端）。flag 关闭时贪心/ACO 路径逐字节不变。

Closes #9

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-10 14:08:08 +08:00
Songhaoz666andClaude Opus 4.8 d487923646 benchmark: 落地决策层(τ/η/P)、质量(Q_quality)、通信遥测；关闭 #10 #23 
四块互相交织的 benchmark 覆盖增量，统一提交：

1) 通信遥测（#23）：orchestrator 路由 peer 消息时按 correlation_id 计请求/应答到
   SwarmRun.collaboration（内部状态，不进 Manager 事件流）；collector 算 s_communication。
   治理计数由 run.approvals 派生（合规/总数）→ s_governance。

2) Q_quality 掩码归一（v2.1 裁定）：metrics.quality_score 改为对 present 输入加权归一，
   非编码任务自动忽略 TestPassRate，全缺 → NaN（不伪造）。

3) 质量插桩 / Group B：新增 Pod 内代码测试沙箱（orchestrator/sandbox.py，环境清洗 +
   超时强杀 + 资源限额 + 路径越界校验，门控 ENABLE_QUALITY_EVAL）与 held-out fixture
   （benchmark/fixtures/）；run 完成时用留出测试评分得 TestPassRate → Q_quality →
   collector 合成 reward。安全边界见 docs/integration/security-boundary.md §8.1。

4) 决策引擎 / Group A（#10，Option A score-at-pull）：新增 orchestrator/decision_engine.py
   —— 信息素 τ（Redis 持久、(role,agent) 键控、冷启动 0.5、ρ 蒸发、夹紧、学习常开）+
   η 启发式评分 + ε-greedy 概率采样；每次 dispatch 产一条 DecisionTrace →
   SwarmRun.decisions；collector 算 tau/eta/p_decision。概率选择门控 ENABLE_ACO_DISPATCH
   （默认关，CI 用 ACO_SEED 固定）。

覆盖：单次 run 真实可算字段由 4 提升至最多 10/15（新增 communication/reward/tau/eta/
p_decision，外加 governance 有条件）。

测试：新增 test-sandbox / test-quality / test-decision-engine；扩充 collector/metrics 用例；
CI 纳入全部 benchmark 套件 + flag-on 的 ACO e2e。本地 11 项 gate 全绿。

诚实边界（未越界声称）：
- Group A 为单边匹配（Option B 待 Group C）；概率派发优于贪心未证；默认关闭。
- reward 的 CodeReview/UserAcceptance 未采集（掩码忽略）；P_risk 为审批派生低估。
- s_gain/s_swarm/g_e/g_e_cost/benchmark 仍 NaN —— 需基线（#21/#13），本 PR 不动验收。

影响范围：Swarm（orchestrator + benchmark + docs + CI）。不改 Manager↔Swarm 事件契约
（遥测均为运行时内部状态）；不影响 Client/计费/密钥/发布链路。新增 ENABLE_QUALITY_EVAL /
ENABLE_ACO_DISPATCH 两个开关，默认关闭。

Closes #10
Closes #23

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-10 12:51:32 +08:00
Songhaoz666andClaude Opus 4.8 6e0eca4da7 CI: 将全部 7 套测试纳入 gate；修复 e2e 退出竞态 
回应事后审计：此前 CI 只跑 3 套（contract/merge-smoke/workflow-e2e），新增的 4 套
（contract-events/benchmark-metrics/benchmark-collector/baseline-comparison）未进入 gate，
PR 描述「七套全绿」与 CI 实跑不符。本提交把 4 套补入 ci.yml。

同时修复 test-workflow-e2e：进程退出时 uvicorn 守护线程仍在写 stderr，导致解释器收尾
出现 Fatal Python error（exit 127，CI 偶发失败）。改为 join 服务线程 + os._exit(code)，
退出码确定（本地 e2e 连跑 3 次均 exit 0、断言全过）。

注意：本 PR 仅修 CI 门禁与 e2e 稳定性，**不构成 Benchmark/主链路验收**；Issue #2 保持 open。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-09 17:33:05 +08:00
Songhaoz666andClaude Opus 4.8 54cb327348 Agent Swarm v6：基准 v2.1、主控 Agent、实质性对等回复、客户端指南 
- 基准标准 v2.1：SwarmMetrics（15 字段）、τ/η/P_decision/reward 公式、对称 G_E,c（修正 C_base=1.0 退化）、Σλ=1.0 校验；新增基线对比与运行记录 schema；指标覆盖缺口分析；参考系数暂留为元数据（待量化）。
- 主控 Agent 实体（分解 / 评审决策 / 汇总）；事件契约修正（timeline.title、budget.threshold_pct、handoff 角色、task.released）+ 契约校验脚本。
- 实质性 LLM 对等回复（含降级回退）；集成契约（runtime / event / usage / audit / frontend / capability / security）；CLIENT_GUIDE 客户端指南；CI 工作流；治理与交付文档。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-09 16:21:18 +08:00