gongzhiyongandOmX
d632fd9f64
Extend the Agent standard matrix with a report-audit scenario so model input, output, handoff, and secret-safety evidence are tested instead of remaining narrative-only. Constraint: The user requested another test pass and expanded Agent/swarm testing scenarios under docs/. Rejected: Treating the model I/O report as untested documentation | it would leave the handoff and input/output evidence unguarded. Confidence: high Scope-risk: moderate Directive: Keep model I/O reports under docs/ and redact secret-shaped values during export. Tested: .venv/bin/python -u -B examples/run_standard_scenario_acceptance.py; .venv/bin/python -B -m unittest discover -s tests; .venv/bin/python -B -m py_compile swarm_minimal/*.py examples/*.py tests/*.py; .venv/bin/python -u -B examples/run_academic_standard_evaluation.py; git diff --check; docs secret-pattern scan. Not-tested: Large-scale concurrent 3/5/7 worker load and external browser rendering were not run. Co-authored-by: OmX <omx@oh-my-codex.dev>
2.8 KiB
2.8 KiB
Agent 行业参考标准映射
当前行业没有统一的 “Agnet/Agent 质量认证标准”。本项目不再用普通软件产品质量标准作为主标准，而是采用：
AGENT_SWARM_QUALITY_STANDARD.zh-CN.md：主标准，定义通用 Agent 质量标准 AQS 和蜂群 Agent 质量标准 SW-AQS。ACADEMIC_STANDARD_TEST_REPORT.zh-CN.md：执行报告，记录本轮测试过程、结果、算法和马尔可夫过程判定。MODEL_AGNET_IO_REPORT.zh-CN.md：输入输出报告，记录模型任务、prompt 结构、实际输出和接手机制。
行业参考框架
| 来源 | 在本项目中的用途 |
|---|---|
| NIST AI RMF 1.0 | 管理 Agent 风险、可控性、可度量性和治理闭环 |
| NIST AI 600-1 | 处理生成式 AI 的幻觉、隐私、信息安全、组件集成和预部署测试 |
| OWASP LLM Top 10 | 覆盖 prompt injection、敏感信息泄露、过度代理、不安全输出处理、过度信任 |
| OWASP Agentic Skills Top 10 | 覆盖 Agent 工具/技能执行层的权限、隔离、审计和运行时安全 |
| MITRE ATLAS | 从对抗性 AI 和误用角度设计失败、越权、诱导和异常场景 |
| OpenTelemetry | 约束 run_id、task、event、metric、log、artifact 等可观测证据 |
| LangGraph handoff | 参考 active-agent 和 transfer_to_<agent> 式交接语义 |
| 蜂群模式归纳标准 | 约束去中心化、自组织、局部感知、信息素、涌现、鲁棒性和收敛 |
最小通过条件
本项目当前最小通过条件不是“代码质量通过”，而是：
- AQS 通用 Agent 标准中，任务理解、上下文、模型选择、资源边界、敏感信息、可观测性、错误可解释、交接准备度均有证据。
- SW-AQS 蜂群 Agent 标准中，任务池、共享状态、信息素、handoff、事件流、收敛、鲁棒性、涌现性、传统基线对比和 live 外部闭环均有证据。
- 模型输入输出能被审计：知道每个 Agent 被分配了什么任务、收到了什么输入、输出了什么、下一个 Agent 如何接手。
- live 测试真实连接 Azure PostgreSQL、Redis、Blob 和 NewAPI，且不输出任何真实密钥。
最新一次标准矩阵（S01-S08）已经通过，以下为 S07 live 证据：
{
"run_id": "04c641d170fe4ea7aa3d882d9df37cca",
"completed_tasks": 7,
"accepted_score": 1.0,
"check_count": 12,
"failed_checks": []
}
保留缺口
当前满足“最小蜂群 Agent 质量标准 v1”，但还不是完整生产级蜂群平台认证。仍需补：
- 并发 worker 自主 claim，而不是 coordinator 顺序驱动。
- Redis Stream 事件被其他 Agent 消费并改变决策。
- 3/5/7 Agent 扩缩容和稳定性压测。
- 收敛速度、Agent 利用率、响应时间、信息素分布等统一 metrics。