Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
4.1 KiB
4.1 KiB
SOC LangGraph.js Phase 2 回归测试报告
测试环境
- LangGraph API: http://192.168.30.30:2024
- Frontend: http://192.168.30.30:5173
- 测试时间: 2026-04-10
- 部署版本:
8a5d1c0 - 修复项: Task #5 (Router coder/writer 误路由), Task #6 (Writer 未调用 doc_create)
测试结果汇总
| # | 测试项 | 输入 | 预期路由 | 实际路由 | 结果 | 备注 |
|---|---|---|---|---|---|---|
| 1 | 健康检查 | GET /ok | - | - | PASS | {"ok":true} |
| 2 | 普通对话 | "你好" | generalInput | generalInput | PASS | 纯文本回复,无工具调用 |
| 3 | 知识库查询 | "查询知识库关于产品的信息" | enterprise | enterprise | PARTIAL | 路由正确,kb_search 仍超时 |
| 4 | 工单查询 | "查询最近的工单" | enterprise | enterprise | PASS | ticket-summary UI 卡片正常 |
| 5 | 网络搜索 | "搜索 LangGraph.js 最新版本" | searcher | searcher | PASS | search-result UI 卡片正常 |
| 6 | 代码生成 | "帮我写一段 Python 代码计算斐波那契数列" | coder | coder | PARTIAL | 路由已修复! 但 coder 未调用 sandbox,直接返回文本代码 |
| 7 | 文档撰写 | "帮我写一份项目周报" | writer | writer | PASS | 路由正确,调用 doc_create 工具生成 markdown 文档 (已修复!) |
| 8 | 前端页面 | GET http://localhost:5173/ | - | - | PASS | HTTP 200 |
修复验证
Task #5: Router coder/writer 误路由 -- 已修复
- 之前: "帮我写代码" -> writer (错误)
- 现在: "帮我写代码" -> coder (正确)
- 验证结果: PASS
Task #6: Writer 未调用 doc_create 工具 -- 已修复
- 之前: writer 直接返回纯文本
- 现在: writer 调用
doc_create({"title":"项目周报","type":"markdown","content":"..."})生成结构化文档 - 验证结果: PASS
详细测试记录
Test 1: GET /ok
- 响应:
{"ok":true} - 判定: PASS
Test 2: generalInput - "你好"
- Router:
next: "generalInput" - 回复: "你好!有什么我可以帮你的吗?"
- 判定: PASS (无回归)
Test 3: enterprise KB - "查询知识库关于产品的信息"
- Router:
next: "enterprise" - 调用:
kb_search({"query":"产品 信息"}) - 结果:
TimeoutError: The operation was aborted due to timeout - AI 优雅降级回复
- 判定: PARTIAL - 外部 KB 服务仍然超时,非本次修复范围
Test 4: enterprise 工单 - "查询最近的工单"
- Router:
next: "enterprise" - ticket-summary UI 卡片正常
- 判定: PASS (无回归)
Test 5: searcher - "搜索 LangGraph.js 最新版本"
- Router:
next: "searcher" - search-result UI 卡片正常
- 判定: PASS (无回归)
Test 6: coder - "帮我写一段 Python 代码计算斐波那契数列"
- Router:
next: "coder"(修复成功!) - coder 节点 (langgraph_node: "agent") 直接返回文本代码,未调用 sandbox 执行工具
- 输出包含正确的 Python 代码但无 sandbox-result UI 卡片
- 判定: PARTIAL - 路由修复成功,但 coder Agent 未使用 sandbox 执行代码
Test 7: writer - "帮我写一份项目周报"
- Router:
next: "writer" - writer 调用
doc_create({"title":"项目周报","type":"markdown","content":"..."})(修复成功!) - 判定: PASS
Test 8: 前端页面
- HTTP 200
- 判定: PASS
遗留问题
问题 1: kb_search 外部服务超时 [中等]
- enterprise 调用 kb_search 仍返回 TimeoutError
- 非本次修复范围,需检查 KB Agent 外部服务
问题 2: coder Agent 未调用 sandbox 执行代码 [中等]
- Router 已正确路由到 coder,但 coder Agent 直接返回文本代码而非调用 sandbox 工具执行
- 建议: 检查 coder Agent 的 prompt 或工具绑定,确保代码请求会调用 sandbox 执行工具
通过率
6/8 通过, 2 部分通过 (75%)
与上一轮对比
| 指标 | 上一轮 | 本轮 | 变化 |
|---|---|---|---|
| 通过率 | 67% (6/9) | 75% (6/8) | +8% |
| Router 路由正确率 | 5/6 | 6/6 | 100% |
| UI 卡片 | 2/4 | 3/4 | +1 (doc_create) |
| 修复验证 | - | 2/2 PASS | Task #5, #6 确认修复 |